![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
qingzhongli
这个作者很懒,什么都没留下…
展开
-
elasticsearch之索引模板
索引模板简介索引模板是创建索引的一种方式。将数据写入指定索引时,如果该索引不存在,则根据索引名称能匹配相应索引模板话,会根据模板的配置建立索引。更多介绍请查看官网的Index templates索引模板查看查看某个索引模板curl --user ${USERNAME}:${PASSWORD} -XGET "${ES_URL}/_template/ftp_download_log?pretty"查看所有索引模板curl --user ${USERNAME}:${PASSWORD} -XGET "原创 2020-10-29 22:42:00 · 1003 阅读 · 0 评论 -
HDFS中小文件的排查方式之分析fsimage
问题cloudera manager监控页面HDFS大部分机器出现类似告警"存在隐患 : DataNode 有 xxxxxx 个块。 警告阈值:500,000 块。",cm给出的建议:这是 DataNode 运行状况检查,用于检查 DataNode 是否含有过多的块。如果 DataNode 含有过多的块,可能影响 DataNode 的性能。具有大量块数的 DataNode 将需要较大的 java 堆并且可能遇到较长时间的垃圾回收暂停。另外,大量块数可能表明存在许多小文件。不会为处理许多小文件原创 2020-10-28 16:34:22 · 1530 阅读 · 0 评论 -
MR作业提交时指定第三方依赖jar
前言在提交MR作业时,如何将第三方依赖的jar追加运行环境解决方法首先构建一个项目基本架构,包括bin、lib等文件夹,,如下:[lqz@test app]$ tree ..├── bin│ └── startup.sh└── lib ├── aopalliance-1.0.jar ├── ...... ├── hbase-load-0.0.1...原创 2019-03-14 16:29:18 · 371 阅读 · 0 评论