大数据
老余不爱吃鱼
这个作者很懒,什么都没留下…
展开
-
CDH提供的推荐配置
HBase的两个参数,解释如下: hbase.hregion.preclose.flush.size 默认值:5M 建议值:5M 含义:如果在关闭 Region 时,某个 Region 内的 memstore 大小超过此大小,会先运行pre-flush以清除 memstore,然后再放置Region关闭标记并使Region脱机。 关闭时,在关闭标志下运行刷新以清空内存。在此期间,该Region处...原创 2019-11-22 09:22:04 · 721 阅读 · 0 评论 -
生产环境各组件调优总结
HDFS: dfs.datanode.du.reserved 100g (计算方法 磁盘总容量*0.05+50g)其中50g适量即可 其他参数指定一些日志目录和datanode目录 rebalance阈值 2 不启用hdfs权限 启用zookeeper 还有一些进程的内存限制大小 记得配置HA dfs.datanode.handler.count=30 dfs.namenode.handler.c...原创 2019-08-15 11:51:41 · 512 阅读 · 0 评论 -
工业物联网sparkstreaming+kafka+mqtt
一、概述 工业物联网数据通过mqtt协议发送到emqtt,kafka订阅emqtt数据,sparkstreaming消费kafka数据和原始留存在oracle的信息表关联计算。 二、demo示例 package streamTest import java.util.concurrent.Future import java.util.{Date, Properties} import com...原创 2019-08-28 15:57:24 · 1486 阅读 · 0 评论