关闭
当前搜索:

使用logstash输出到elasticsearch中文乱码的解决方案

logstash版本为5.5.3,elasticsearch版本有两个,分别为2.3.0和5.5.3;其中elasticsearch-2.3.0运行在windows机器上,elasticsearch-5.5.3运行在linux机器上。logstash运行在windows机器上。本文所探讨的由logstash输出到elasticsearch所导致的中文乱码问题,其根本原因是操作系统编码不一样的问题。...
阅读(13) 评论(0)

ExecutorService的shutdownNow方法注意事项

当通过shutdownNow来强行关闭ExecutorService时,它会尝试取消正在执行的任务并返回所有已提交但尚未开始的任务;注意:调用shutdownNow在关闭过程中只会返回尚未开始的任务,而不会返回正在执行的任务。然而,我们无法通过常规方法来找出哪些任务已经开始但尚未结束。这意味着我们无法在关闭过程中知道正在执行的任务的状态,除非任务本身会执行某种检查。 public class...
阅读(16) 评论(0)

springboot集成JestClient连接elasticsearch-5.x

需要的依赖 dependency> groupId>io.searchboxgroupId> artifactId>jestartifactId> version>5.3.3version> dependency> dependency> groupId>org.elasticsearchgroupId> artifactId>elasticsearchartifa...
阅读(82) 评论(0)

使用JestClient连接elasticsearch-5.x对数据进行分组聚合

原本数据存放在mysql中,项目需求是从mysql中查出来计算推送给前端;但是随着数据量增大,我们的查询语句也复杂,性能会明显下降。所以就考虑干脆存放到elasticsearch中,查询计算都方便;于是去和公司专门负责es平台服务的人对接,负责人说elasticsearch5.x在连接集群方面对tcp支持不如http性能好,我没研究过两种方式的性能,所以不好下结论,但是人家推荐我使用http的方式...
阅读(90) 评论(0)

logstash启动文件conf之filter模块中字段转换问题

我的logstash是从kafka中读取数据,取出来的数据格式为"zhangsan_1_25_student_15064573848";一个人的姓名_性别_年龄_职业_时间戳,我的需求是将每个字段分别存到elasticsearch中,所以首先需要对取出来的字符串拆分,以便模板能映射各个字段 filter{ mutate{ split => ["message","_"] ...
阅读(27) 评论(0)

使用logstash的logstash-input-kafka插件读取kafka中的数据

logstash版本为5.5.3,kafka版本为2.11,此版本默认内置了kafka插件,可直接配置使用,不需要重新安装插件;注意logstash5.x版本前后配置不太一样,注意甄别,必要时可去elasticsearch官网查看最新版配置参数的变化,例如logstash5.x版本以前kafka插件配置的是zookeeper地址,5.x以后配置的是kafka实例地址。 input{...
阅读(67) 评论(0)

采用freemarker模板引擎作为Java邮件模板

项目需要发送邮件提醒,格式类似于下面这样,总之要换行,排版整齐 1.姓名: 2.年龄: 3.性别:      刚开始的时候,我采用在字符串之间用“\n”来拼接,发现请求返回成功,但是没有收到邮件,换成“\r"也不行;但是换成”\t“就可以收到邮件,只不过\t不是我要的效果。再后来尝试用""来拼接就成功了,既可以收到邮件,也换行了,说明我所调用的邮件服务mime类型是web型。    ...
阅读(33) 评论(0)

为windows环境的elasticsearch更新license授权文件

我win7电脑安装了elasticsearch-2.3.0,一个月以前安装了shield插件,为了增加基本的用户名和密码认证;安装shield插件,首先要安装license,有效期一个月。当时不知道是过期了,只知道elasticsearch启动不了,然后去看日志,报:operation due to expired license. Cluster health, cluster stats...
阅读(25) 评论(0)

在一台linux机子上安装部署3个mysql实例

这里以centos7为例,mysql版本为5.6.10,由于是在一台机器上安装多个相同服务,所以最好使用二进制方式配置启动。下载一份mysql二进制包,解压3份,分别命名为mysql-1、mysql-2、mysql-3.     下载命令: # wget https://downloads.mysql.com/archives/get/file/mysql-5.6.10-linux-glib...
阅读(160) 评论(0)

解决mycat1.5无法登陆管理控制台的问题

mycat数据端口默认为8066,管理端口默认为9066;mycat提供了类似于数据库的管理监控方式,此处以在windows7上操作为例,其中通过命令行的方式为       不过似乎出了点问题,报错了: ERROR 1045 (HY000): Access denied for user 'root' with host '127.0.0.1' ;刚开始我以为是没有权限,就在本地mysq...
阅读(119) 评论(0)

elasticsearch-5.5.3伪分布式集群开发过程中问题总结

一、X-pack修改密码问题        伪分布式集群,一台机子上3个实例,每个实例都安装了x-pack,肯定不能用默认的密码,必须修改。我以为三个实例要分别修改,当我先启动第一个实例,修改完密码后;把第一个kill掉,再启动第二个实例,再修改时报错了: {"error":{"root_cause":[{"type":"illegal_state_exception","reason":"p...
阅读(118) 评论(0)

logstash在向elasticsearch输出数据时的动态映射模板问题

使用logstash-input-jdbc插件同步mysql数据到elasticsearch,系统会使用一个默认的动态映射模板,模板名字为logstash。在启动logstash过程中你会看到如下信息 Using mapping template from {:path=>nil} Attempting to install template{:manage_template=>{"templ...
阅读(179) 评论(0)

spring-data-elasticsearch和shield插件结合

在springboot项目中使用elasticsearch,可以直接使用spring-data集成elasticsearch的方式,也就是这个依赖 dependency> groupId>org.springframework.bootgroupId> artifactId>spring-boot-starter-data-elasticsearchartifactId> depen...
阅读(263) 评论(0)

logstash-5.5.3离线安装logstash-input-jdbc插件

生产环境的虚拟机不能联网;虽然logstash是开箱即用,即解压后就能使用,但是对于logstash-input-jdbc插件来说,一般是在线安装的(./logstash-plugin  install  logstash-input-jdbc),就算你是在github上https://github.com/logstash-plugins/logstash-input-jdbc/下载源码,修改G...
阅读(622) 评论(0)

logstash-input-jdbc插件配置细节

数据库里面有一张表,字段如“学生id”被定义为student_id,“班级名”被定义为class_name等,而在项目中实体类属性一般都是驼峰命名法,如上两个属性在Java实体类中被定为studentId、className;假如你用logstash-input-jdbc将mysql数据同步到elasticsearch后,如果你的sql没有对字段起别名,那么elasticsearch中存储的字段就...
阅读(518) 评论(6)

Java客户端连接elasticsearch5.5.3实现数据搜索(基于xpack安全管理)

项目中有一个功能是数据搜索,要求可以根据用户id、帐户名、邮箱、手机号、昵称、中英文姓名等来精确或模糊查询用户,并且支持按以上查询类型排序,且支持分页;由于当时设计用户表时只有userId为主键,其他几乎没有索引,所以如果按照sql来实现这个功能,那性能可想而知。项目已经上线,为那些字段加索引也不太好,况且不知道哪个字段查询的最频繁,索引加多也浪费;在网上得知一些著名的开放平台像这样的接口都是使用...
阅读(1180) 评论(3)

Spring Cloud Sleuth基于消息中间件收集时自定义topic

分布式服务跟踪spring cloud sleuth收集链路的方式有两种:http方式收集和消息中间件收集。这里主要说一下基于消息中间件收集时的一些技巧。不管你是采用rabbitmq还是kafka都适用。我这里用的是kafka收集,我搭建了一套kafka集群,用来测试链路收集;由于只有一套kafka环境,而我的应用却有dev、test等好几个环境,如果共用一个kafka集群的话,而且topic都叫...
阅读(184) 评论(0)

ELK中的logstash启动后无输出

在《elasticsearch技术解析与实战》第370页第10章ELK应用,书中以收集Nginx日志为例来说明;我这里用的版本分别是elasticsearch-2.3.0、logstash-2.3.0、kibana-4.5.0;和书中的版本不同,在373页我按照书上的例子取一条典型的nxlog日志,保存文件名为nxlog_access.log,编写配置文件,文件名为logstash_nxlog.c...
阅读(436) 评论(0)

spring-data-redis集成的两种方式

spring-data-redis集成有两种方式:一种是Java代码集成;另一种是xml方式集成。首先是xml集成方式: 缓存配置 --> bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig"> property name="maxIdle" value="${redis.cache.MaxIdle}...
阅读(256) 评论(0)

采用mustache语言作为elasticsearch搜索请求的预处理模板

在朱林编著的《elasticsearch技术解析与实战》一书中第164页至166页----搜索模版这一部分,书中例举了三种使用模板的方式,在这里要着重提一下最后一种,书中原文:可以使用Mustache语言作为搜索请求的预处理,它提供了模板,然后通过键值对来替换模板中的变量。把脚本存储在本地磁盘中,默认的位置为:elasticsearch\config\scripts,通过引用脚本名称进行使用。 ...
阅读(120) 评论(0)
62条 共4页1 2 3 4 下一页 尾页
    个人资料
    • 访问:55438次
    • 积分:1232
    • 等级:
    • 排名:千里之外
    • 原创:61篇
    • 转载:1篇
    • 译文:0篇
    • 评论:51条
    最新评论