- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hudi实战
Hudi 实战官网 ：https://hudi.apache.org/docs/spark_quick-start-guide.html#setup在大数据平台 华为 FusionInght HD 6.5.1中使用 hudi 0.7.0 版本1 登录华为HD 客户端2 由于环境离线在只能使用离线的hudi和avro包进行试验 分别下载3个jar包3 由于我spark版本是2.3.2 有jar包冲突 先把spark libs里面的avro 包移走4 使用spark-shel
2021-03-26 11:11:09
1786
1
原创 CDH5.10 配置
HDFS:dfs.datanode.du.reserved 100g （计算方法 磁盘总容量*0.05+50g）其中50g适量即可其他参数指定一些日志目录和datanode目录rebalance阈值 2不启用hdfs权限启用zookeeper还有一些进程的内存限制大小记得配置HAdfs.datanode.handler.count=30dfs.namenode....
2019-08-14 10:43:22
227
原创 presto on redis
Presto on redis PRESTO的安装和配置1 安装1 下载presto包(1)wget https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.179/presto-server-0.179.tar.gz2 上传presto包上传到服务器将（1）上传至10.118.242.72
2018-02-05 18:19:11
3148
原创 sparkR 安装
SparkR的安装和配置1 集成在CLOUDERA MANAGER里由于cdh集成的spark2不支持sparkR所以要手动将sparkR的相关内容放入spark2的目录下1 下载已经编译过的spark2包wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz2 安装sparkR解
2018-02-05 18:14:33
411
1
原创 cloudera manager 安装文档
1 ssh互访(可以不配置)2 时间同步服务NTP配置1.1 在一台主机上编辑配置文件/etc/ntp.confvim /etc/ntp.conf去掉一下两行前面的#号#server 127.127.1.0 # local clock#fudge 127.127.1.0 stratum 101.2 在其他主机上分别编辑配置文件/etc/ntp.confvim /etc/ntp.conf...
2018-02-05 17:30:32
342
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人