自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 资源 (9)
  • 收藏
  • 关注

转载 如何离线分析HDFS的FsImage查找集群小文件

章编写目的随着Hadoop集群数据量的增长,集群中也同时会存在大量的小文件,即文件Size比HDFS的Block Size(默认128MB)小的多的文件。Hadoop集群中存在大量的小文件对集群造成的影响如下:1.对NameNode的内存造成很大的压力以及性能问题,在HDFS中任何文件、目录或者block在NameNode内存中均以对象的方式表示(即元数据),默认每个元数据对象约占150b...

2019-01-18 11:12:42 1955 2

原创 airflow 重启语句

重启webserver和schedulersu airflow ps -ef|egrep 'scheduler|airflow-webserver'|grep -v grep|awk '{print $2}'|xargs kill -9 rm -rf /home/airflow/airflow/airflow-scheduler.pid  airflow webserver -p 808...

2019-01-18 11:10:34 8628 1

原创 统计hdfs小文件语句

 hdfs dfs -du -h /hive/warehouse/test.db/*/*/ | awk '{print $1$2 "\t" $5}' | awk '{if($1 ~/K/ || $1 ~/M/) print $0}' | awk '{if($1 ~/M/) print $0}'|sed 's/M//g'| awk '{if($1 <128) print $1"M""\t"$2...

2019-01-18 11:06:32 1160

原创 如何为Impala Daemon配置Executor和Coordinator

登录Cloudera Manager界面进入Impala服务,点击“配置”进入角色组界面,新建Coordinator角色组,将一部分Impala Daemon节点划分为Coordinator Group角色组4.进入Impala的配置页面,为我们划分的两个组配置高级参数在Impala配置中搜索“Impala Daemon 命令行参数高级配置代码段(安全阀)”,为...

2019-01-18 10:57:49 1974

原创 cdh实现 impala deamon 和hiveserver2 ha 并在hue内集成他们jdbcha

安装haproxy实现haInstall the load balancer: root@bigdata-150021:~#  yum -y install haproxyroot@bigdata-150021:~# cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.bak配置haproxycat /etc/haproxy/h...

2019-01-09 14:50:48 1858 1

CDH跨版本升级

CDH跨版本升级详细步骤

2018-08-23

manager-1.3.3.13.zip

kafka-manager-1.3.3.13.zip

2017-08-23

kafka-manager-1.3.3.13.zip

kafka-manager

2017-08-23

crf11111++.tar

crf

2017-08-04

tableau9 官网指南

tableau指南

2017-05-25

oracle 11.2 rac安装文档

rac11.2安装手册

2017-05-18

oracle面试题总汇

oracle面试题总汇

2013-11-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除