- 博客(10)
- 资源 (16)
- 收藏
- 关注
原创 springboot集成JestClient连接elasticsearch-5.x
需要的依赖dependency> groupId>io.searchboxgroupId> artifactId>jestartifactId> version>5.3.3version>dependency>dependency> groupId>org.elasticsearchgroupId> artifactId>elasticsearchartifa
2017-11-28 18:59:12 9822
原创 使用JestClient连接elasticsearch-5.x对数据进行分组聚合
原本数据存放在mysql中,项目需求是从mysql中查出来计算推送给前端;但是随着数据量增大,我们的查询语句也复杂,性能会明显下降。所以就考虑干脆存放到elasticsearch中,查询计算都方便;于是去和公司专门负责es平台服务的人对接,负责人说elasticsearch5.x在连接集群方面对tcp支持不如http性能好,我没研究过两种方式的性能,所以不好下结论,但是人家推荐我使用http的方式
2017-11-28 17:22:38 11623 5
原创 logstash启动文件conf之filter模块中字段转换问题
我的logstash是从kafka中读取数据,取出来的数据格式为"zhangsan_1_25_student_15064573848";一个人的姓名_性别_年龄_职业_时间戳,我的需求是将每个字段分别存到elasticsearch中,所以首先需要对取出来的字符串拆分,以便模板能映射各个字段filter{ mutate{ split => ["message","_"]
2017-11-28 15:12:56 2952 2
原创 使用logstash的logstash-input-kafka插件读取kafka中的数据
logstash版本为5.5.3,kafka版本为2.11,此版本默认内置了kafka插件,可直接配置使用,不需要重新安装插件;注意logstash5.x版本前后配置不太一样,注意甄别,必要时可去elasticsearch官网查看最新版配置参数的变化,例如logstash5.x版本以前kafka插件配置的是zookeeper地址,5.x以后配置的是kafka实例地址。input{
2017-11-28 12:54:52 41539 7
原创 采用freemarker模板引擎作为Java邮件模板
项目需要发送邮件提醒,格式类似于下面这样,总之要换行,排版整齐1.姓名:2.年龄:3.性别: 刚开始的时候,我采用在字符串之间用“\n”来拼接,发现请求返回成功,但是没有收到邮件,换成“\r"也不行;但是换成”\t“就可以收到邮件,只不过\t不是我要的效果。再后来尝试用""来拼接就成功了,既可以收到邮件,也换行了,说明我所调用的邮件服务mime类型是web型。
2017-11-27 20:29:57 3937
原创 为windows环境的elasticsearch更新license授权文件
我win7电脑安装了elasticsearch-2.3.0,一个月以前安装了shield插件,为了增加基本的用户名和密码认证;安装shield插件,首先要安装license,有效期一个月。当时不知道是过期了,只知道elasticsearch启动不了,然后去看日志,报:operation due to expired license. Cluster health, cluster stats
2017-11-27 19:24:06 2451
原创 在一台linux机子上安装部署3个mysql实例
这里以centos7为例,mysql版本为5.6.10,由于是在一台机器上安装多个相同服务,所以最好使用二进制方式配置启动。下载一份mysql二进制包,解压3份,分别命名为mysql-1、mysql-2、mysql-3. 下载命令:# wget https://downloads.mysql.com/archives/get/file/mysql-5.6.10-linux-glib
2017-11-07 19:10:46 1080
原创 解决mycat1.5无法登陆管理控制台的问题
mycat数据端口默认为8066,管理端口默认为9066;mycat提供了类似于数据库的管理监控方式,此处以在windows7上操作为例,其中通过命令行的方式为 不过似乎出了点问题,报错了: ERROR 1045 (HY000): Access denied for user 'root' with host '127.0.0.1' ;刚开始我以为是没有权限,就在本地mysq
2017-11-03 16:29:41 11640
原创 elasticsearch-5.5.3伪分布式集群开发过程中问题总结
一、X-pack修改密码问题 伪分布式集群,一台机子上3个实例,每个实例都安装了x-pack,肯定不能用默认的密码,必须修改。我以为三个实例要分别修改,当我先启动第一个实例,修改完密码后;把第一个kill掉,再启动第二个实例,再修改时报错了:{"error":{"root_cause":[{"type":"illegal_state_exception","reason":"p
2017-11-01 11:10:36 3997
原创 logstash在向elasticsearch输出数据时的动态映射模板问题
使用logstash-input-jdbc插件同步mysql数据到elasticsearch,系统会使用一个默认的动态映射模板,模板名字为logstash。在启动logstash过程中你会看到如下信息Using mapping template from {:path=>nil}Attempting to install template{:manage_template=>{"templ
2017-11-01 10:48:42 8189 5
Elasticsearch学习资料整理
2018-01-12
logstash-input-jdbc-4.2.3离线安装包
2017-10-11
kafka-manager-1.3.3.13.zip
2017-08-14
报表工具Highcharts
2017-07-17
批量生成access.log的demo
2017-07-17
inotify-java-2.1.jar
2017-07-10
java开发二维码所需QRCode.jar包,附带demo
2016-03-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人