![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
配置
文章平均质量分 96
cy19871228cy
这个作者很懒,什么都没留下…
展开
-
Hudi实战
Hudi 实战官网 :https://hudi.apache.org/docs/spark_quick-start-guide.html#setup在大数据平台 华为 FusionInght HD 6.5.1中使用 hudi 0.7.0 版本1 登录华为HD 客户端2 由于环境离线在只能使用离线的hudi和avro包进行试验 分别下载3个jar包3 由于我spark版本是2.3.2 有jar包冲突 先把spark libs里面的avro 包移走4 使用spark-shel原创 2021-03-26 11:11:09 · 1702 阅读 · 1 评论 -
CDH5.10 配置
HDFS:dfs.datanode.du.reserved 100g (计算方法 磁盘总容量*0.05+50g)其中50g适量即可其他参数指定一些日志目录和datanode目录rebalance阈值 2不启用hdfs权限启用zookeeper还有一些进程的内存限制大小记得配置HAdfs.datanode.handler.count=30dfs.namenode....原创 2019-08-14 10:43:22 · 205 阅读 · 0 评论