ELK
cai包包
编程爱好者
希望和别人共享经验 共同学习 共同进步
展开
-
创新实训总结报告
1.分工我在我们的创新实训队伍当中负责了知乎和头条数据的爬取和整理,实现了给定一个关键词从而查询提供相关问题的内容,更新时间,评论内容,评论数目以及赞同数量等其它数据属性的爬虫,通过爬取的数据存放到mysql中,通过构建本地Elasticsearch,kibana和logstash以及搭建云ELK服务实现了大批量数据的搜索功能,展示功能和分布式功能,能够提供问题排查,监控和预警,关联时间和数据分析的功能,从而为项目提供扎实的数据存储和查询服务。实训主要工作①头条数据的爬取,头条数据的爬取是可以在搜索原创 2020-06-30 15:34:02 · 730 阅读 · 1 评论 -
山东大学创新实训2020/6/29
数据库给的晚,这里创建4个索引原创 2020-06-30 15:33:10 · 130 阅读 · 0 评论 -
山东大学创新实训2020/6/25
esmapping的创建与存储已经创建成功连接远程mysql使用logstash实现数据同步四个表连接服务器的mysql 修改参数实现更新导入数据成功这边可以直接搜索数据 比如特朗普原创 2020-06-29 19:41:27 · 122 阅读 · 0 评论 -
山东大学创新实训2020/6/21
实现数据库的初步写入和查询demoimport timeimport pymysqlimport csvdef get_time(): time_str = time.strftime("%Y{}%m{}%d{} %X") return time_str.format("年","月","日")def get_conn(): """ :return: 连接,游标 """ # 创建连接 conn = pymysql.connect(host原创 2020-06-29 15:56:05 · 112 阅读 · 0 评论 -
山东大学创新实训2020/6/18
实现Elastic上云本次主要实现elastic上云,有两种情况,一种是直接买阿里的云es,一种是在ecs上配置elk环境,第二种,无非就是前面的再实现一遍。废话不多说,直接上阿里云买个阿里云Elasticsearch买完之后等它生效我就买了个最一般的3个节点,修改es集群配置插件的话都装好了,拿来用就行安全设置,修改合适自己的访问白名单集群控制进入kibana可以远程访问了,到这基本配置完成了创建一个mapping这里用logstash远程传输mysql数据不原创 2020-06-18 10:53:48 · 174 阅读 · 0 评论 -
山东大学创新实训2020/6/15
ES配置ES分词器安装 由于elasticsearch默认的分词器是全文分词,需要安装ik分词器。进入到bin目录中./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.7.1/elasticsearch-analysis-ik-7.7.1.zip安装成功这里就看最后怎么做了,如果确定是分布式的。就把es 这玩意copy几个,看你准原创 2020-06-15 18:05:48 · 191 阅读 · 0 评论