- 博客(6)
- 收藏
- 关注
RSS订阅转载 elasticsearch使用RestHighLevelClient API重建index
elasticsearch 7及6的部分版本建议使用 RestHighLevelClient替代原来的Transport Client API以下是使用rest高阶api实现index重建的过程，主要思路是使用scroll api读取原index中的数据，然后使用BulkProcessor将...
2019-05-29 16:34:00
675
转载 使用docker搭建zabbix
部署zabbix环境所需组件： 1.Mysql 2.Zabbix-server 3. Zabbix-web 4.Zabbix-agent 各组件分布情况： Mysql ，server, web和agent分别部署到不同的节点上(四个节点) 搭建步骤： ...
2018-07-13 14:53:00
135
转载 SequenceFile 读写
SequenceFile 读 public static void main(String[] args) throws IOException { Configuration conf = new Configuration(); FileSystem fs = FileSys...
2016-09-22 13:57:00
188
转载 Hadoop集群搭建最佳实践
摘抄 Bios 调优检查表 检查硬件上所以cpu内核是否得到了充分利用；否则，可以降级cpu频率 启用原生命令排队模式。一般来说，可以通过BIOS中的 advanced host controller interface 选项启用NCQ模式 OS配置建议 选择支持E...
2016-09-20 16:54:00
167
转载 计算MapReduce过程中需要的缓冲区大小
在Map阶段，map函数会产生中间数据输出并保存在内存缓冲区中（缓冲区大小由io.sort.mb参数指定）。一旦达到占用阈值（默认是80%），缓冲区的内容就会写入本地磁盘，这也就是所谓的溢写（spill）。 缓冲区内会存储溢写记录的元数据（每条数据元数据长度为16字节）和溢写记录。 分配给...
2016-09-20 10:52:00
668
转载 Hadoop根据加工数据量计算Datanode数量
根据数据量及Hadoop参数计算Datanode的个数每天加工数据量：100GB复制因子：3月增长量：5%MapReduce中间数据：25%非HDFS空间：30%节点磁盘空间：4T计算方法：每天存储数据量所需要空间 = 每天加工数据量 x 复制因子 = 300GB每月数...
2016-09-19 16:51:00
679
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人