- 博客(5)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 如何离线分析HDFS的FsImage查找集群小文件
章编写目的 随着Hadoop集群数据量的增长，集群中也同时会存在大量的小文件，即文件Size比HDFS的Block Size（默认128MB）小的多的文件。Hadoop集群中存在大量的小文件对集群造成的影响如下： 1.对NameNode的内存造成很大的压力以及性能问题，在HDFS中任何文件、目录或者block在NameNode内存中均以对象的方式表示（即元数据），默认每个元数据对象约占150b...
2019-01-18 11:12:42
1955
2
原创 airflow 重启语句
重启webserver和scheduler su airflow ps -ef|egrep 'scheduler|airflow-webserver'|grep -v grep|awk '{print $2}'|xargs kill -9 rm -rf /home/airflow/airflow/airflow-scheduler.pid airflow webserver -p 808...
2019-01-18 11:10:34
8628
1
原创 统计hdfs小文件语句
hdfs dfs -du -h /hive/warehouse/test.db/*/*/ | awk '{print $1$2 "\t" $5}' | awk '{if($1 ~/K/ || $1 ~/M/) print $0}' | awk '{if($1 ~/M/) print $0}'|sed 's/M//g'| awk '{if($1 <128) print $1"M""\t"$2...
2019-01-18 11:06:32
1160
原创 如何为Impala Daemon配置Executor和Coordinator
登录Cloudera Manager界面进入Impala服务，点击“配置” 进入角色组界面，新建Coordinator角色组，将一部分Impala Daemon节点划分为Coordinator Group角色组 4.进入Impala的配置页面，为我们划分的两个组配置高级参数 在Impala配置中搜索“Impala Daemon 命令行参数高级配置代码段（安全阀）”，为...
2019-01-18 10:57:49
1974
原创 cdh实现 impala deamon 和hiveserver2 ha 并在hue内集成他们jdbcha
安装haproxy实现ha Install the load balancer: root@bigdata-150021:~# yum -y install haproxy root@bigdata-150021:~# cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.bak 配置haproxy cat /etc/haproxy/h...
2019-01-09 14:50:48
1858
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人