ELK Stack进阶
文章平均质量分 90
haixwang
。。。。。。
展开
-
elasticsearch进阶(二)错误问题汇总
这篇文章用来记录今后的elasticsearch错误。2018/7/1以下三条记录源于5台机器导入近3亿条文档1.集群压力大,某台机器失去“心跳”后,其他机器好像总找不回它,导致数据无法继续传输 查看日志,是说9300拒绝连接,想不明白,怎么会拒绝连接?很显然与防火墙无关,果然,关了防火墙依然有出现这种情况的可能。 【我感觉还是9300的写入压力太大?】目前既没有找到好的解...原创 2018-07-01 16:45:17 · 4560 阅读 · 0 评论 -
Elasticsearch进阶(一)写入性能基准测试写入性能优化(56小时到5小时),chunk_size探讨
进入正题之前,解决之前的一个疑问:Elasticsearch集群是否已经正确工作?截图时,只上传过一次数据(143万条),设置为:"number_of_shards": 5,"number_of_repl原创 2018-06-28 22:34:40 · 13799 阅读 · 0 评论 -
elasticsearch数据到hive、es-hadoop6.3.0
同一模块中日志输出到不同文件elasticsearch数据到hive思路1思路2安装ES-hadoop添加jar包到hivees数据导入到hive的最基础设置es数据导入到hive进阶之mapping设置es数据导入到hive进阶之array相关文章参考同一模块中日志输出到不同文件需求:项目的同一个子模块下,已经配置过日志输出,现在...原创 2018-08-06 00:17:44 · 6818 阅读 · 2 评论 -
ElasticSearch多线程写入实战(一)多线程同步异步写入ES,模拟hadoop文件拆分处理,join与CountDownLatch的区别,多线程读写小练习
数据预处理1、网站爬取数据,写为csv 2、添加表头 sed -i ‘1i\时报错: sed: -i may not be used with stdin mac中应该写为:【mac自带的sed命令,是基于bsd的,所以与Linux-like下常用的gnu不一样】sed -i "" '1i\insert value here'原创 2018-08-09 00:47:30 · 7657 阅读 · 0 评论 -
Elasticsearch数据全量导入HBase,scroll的正确使用姿势,HBase数据到Hive
1、代码相关文章: elasticsearch数据到hive、es-hadoop6.3.0 Hbase Java API简单实践(附源代码解释) 按照惯例,先上代码 (代码还有很多可以优化的地方,待正式工作了,有了更海量的需要处理的数据,更复杂的应用场景,我再回来更新此文。)只贴出Es用scroll方式读取数据以及批量写入HBase的核心代码,其他工具类、方法,比如es、HBase...原创 2018-08-16 22:31:57 · 2827 阅读 · 1 评论