![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
虎斗
我就是我,不一样的烟火
展开
-
HDFS fsimage文件解析
指定hdfs 客户端内存export HADOOP_CLIENT_OPTS=’-Xmx5000m -Xms5000m’解析fsimage文件,结果以逗号分隔nohup hdfs oiv -t /data/tmp/fsimage -p Delimited -delimiter , -i fsimage_000000000xxx -o result_file & 30gb大的fsimage文件解析大概耗时2小时。结果文件需要删除首行列名sed -i ‘1d’ result_file原创 2021-01-01 22:29:22 · 861 阅读 · 0 评论 -
CDH添加外部HDFS集群nameservice
如CDH自带HDFS的nameservice为nameservice-dev,现在添加对外部HDFS集群nameservice-test的支持。在配置项”hdfs-site.xml 的 HDFS 客户端高级配置代码段(安全阀)“中添加配置<property> <name>dfs.nameservices</name> <value>nameservice-dev,nameservice-test</value></pro原创 2020-10-12 15:46:17 · 1218 阅读 · 0 评论 -
cloudera manager 离线安装cdh hadoop
软件环境:cm 5.6,cdh 5.6 cm 离线安装包下载 http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.9.0/cdh 离线安装包下载 http://archive-primary.cloudera.com/cdh5/parcels/kakfa 离线安装包下载 http://archive.cloudera.com/k原创 2017-01-18 08:28:37 · 201 阅读 · 0 评论