![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CDH
zhiliang-chen
大数据工程师
展开
-
Hadoop单机单实例安装
国内镜像//清华大学https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common///北京理工大学http://mirror.bit.edu.cn/apache/hadoop/common/JDK安装yum remove java* -yyum remove jdk* -ywget https://github.com/frekele/oracle-java/releases/download/8u212-b10/jdk-8u212-原创 2020-07-16 16:49:02 · 442 阅读 · 0 评论 -
hadoop HTTP 查询 JMX
在Namenode information的web端口(默认9870)访问JMX在页面的Utilites->metricshttp://192.168.19.160:9870/jmx//通过qry参数来过滤MXBeanName(即json的name字段)http://192.168.19.160:9870/jmx?qry=Hadoop:*//查询具体的namehttp://192.168.19.160:9870/jmx?qry=Hadoop:service=NameNode,name=J原创 2020-07-16 16:43:02 · 863 阅读 · 0 评论 -
将csv转为parquet
csv内容$ cat test.txt1|2|3|test2|4|6|wwww使用pysparkfrom pyspark import SparkContext,SparkConffrom pyspark.sql import SQLContextfrom pyspark.sql.types import *if __name__ == "__main__": sc =...原创 2019-11-18 14:26:39 · 2623 阅读 · 0 评论 -
CDH 生产环境安装
环境centos 6.5JDK 8CHD 5.16MySQL 5.7python.2.6 (hue)以三台vps为例: vps138(主),vps155(从),vps156(从)Hostname设置三台的hosts都要相同$ cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localh...原创 2019-11-06 16:00:08 · 1120 阅读 · 0 评论 -
CDH 删除Agent节点
环境centos 6.5JDK 8CDH 5.16CDH 通过CM安装,而不是独立安装组件包;CM移除节点登录web管理界面执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色"执行: 主机->所有主机->勾选主机->...原创 2019-11-01 11:43:57 · 1882 阅读 · 0 评论 -
CDH iptables 配置
iptables# Generated by iptables-save 2019/4/4*filter:INPUT ACCEPT [0:0]:FORWARD ACCEPT [0:0]:OUTPUT ACCEPT [0:0]# example -A INPUT -s 192.168.0.192 -p tcp -m tcp -m multiport --dports 60010,50...原创 2019-10-31 15:44:00 · 248 阅读 · 0 评论 -
ansible CDH 添加新主机
# 查看系统ansible newnode -m shell -a "df -h"# 修改hostnameansible {{HOSTIP}} -m hostname -a 'name=psjssqsjzxqs92'# 修改host和iptables,同步集群ansible cluster -m copy -a 'src=cluster/hosts dest=/etc/hosts'a...原创 2019-10-09 16:08:33 · 422 阅读 · 0 评论 -
CDH 使用内部包仓库
安装web服务以apache为例//# RHEL$ sudo yum install httpd$ sudo service httpd start//# SLES$ sudo zypper install httpd$ sudo service apache2 start//# Ubuntu$ sudo apt-get install httpd$ sudo servic...翻译 2019-10-31 14:54:53 · 908 阅读 · 0 评论 -
CDH 使用内部Parcel仓库
创建内部Parcel仓库安装web服务以apache为例//# RHEL$ sudo yum install httpd$ sudo service httpd start//# SLES$ sudo zypper install httpd$ sudo service apache2 start//# Ubuntu$ sudo apt-get install httpd...翻译 2019-10-31 14:34:22 · 4684 阅读 · 0 评论 -
CDH 安装问题处理
KMS HSM问题ERROR: Hadoop KMS could not be started安装Navigator HSM KMS backed by Thales HSM失败,在角色日志里看到的错误信息;可能原因: KMS用户不属于nfast组解决: $ sudo usermod -G nfast kms服务启动失败在/var/log/cloudera-scm-server/cl...翻译 2019-10-31 11:58:11 · 635 阅读 · 0 评论 -
CDH 组件使用的端口
所有端口都是使用TCP访问要求: Internal(内部)用于组件间通信,External(外部)可用于组件间通信或用户访问;Hadoop组件服务端口访问要求配置项QualifierHDFSDataNode50010外部dfs.datanode.address1004外部dfs.datanode.addressSecure500...翻译 2019-10-30 18:13:29 · 3289 阅读 · 0 评论 -
HDFS 运行状况检测
HDFS Canary这是HDFS 服务范围(service-wide)运行状况(Healthy)检测,检查基本的客户端操作和操作完成是否在合理的时间内;此测试报告周期运行"canary"测试的结果,按以下顺序操作创建文件,默认路径/tmp/.cloudera_health_monitoring_canary_timestampcanary测试会往文件里写入一些数据,然后读取这些数据并验...翻译 2019-10-30 14:11:18 · 4350 阅读 · 0 评论 -
CDH zookeeper 问题处理
Maximum Request LatencyCDH zookeeper报警: Maximum Request Latency存在隐患 : 请求延迟最大值:32,264。会话超时最大值:40,000。会话超时百分比:80.66%。 警告阈值:75.00%。这是CDH的健康值检查,检查项为ZOOKEEPER_SERVER_MAX_LATENCY查看日志/var/log/zookeeper/...原创 2019-10-29 18:11:21 · 3380 阅读 · 2 评论