chenzl的专栏

国内镜像//清华大学https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common///北京理工大学http://mirror.bit.edu.cn/apache/hadoop/common/JDK安装yum remove java* -yyum remove jdk* -ywget https://github.com/frekele/oracle-java/releases/download/8u212-b10/jdk-8u212-

在Namenode information的web端口(默认9870)访问JMX在页面的Utilites->metricshttp://192.168.19.160:9870/jmx//通过qry参数来过滤MXBeanName(即json的name字段)http://192.168.19.160:9870/jmx?qry=Hadoop:*//查询具体的namehttp://192.168.19.160:9870/jmx?qry=Hadoop:service=NameNode,name=J

csv内容$ cat test.txt1|2|3|test2|4|6|wwww使用pysparkfrom pyspark import SparkContext,SparkConffrom pyspark.sql import SQLContextfrom pyspark.sql.types import *if __name__ == "__main__": sc =...

环境centos 6.5JDK 8CHD 5.16MySQL 5.7python.2.6 (hue)以三台vps为例: vps138(主),vps155(从),vps156(从)Hostname设置三台的hosts都要相同$ cat /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localh...

环境centos 6.5JDK 8CDH 5.16CDH 通过CM安装,而不是独立安装组件包;CM移除节点登录web管理界面执行: 主机->所有主机->勾选主机->已选定的操作:停止主机上的角色执行: 主机->所有主机->勾选主机->从群集中删除:勾选"解除授权角色"和"跳过管理角色"执行: 主机->所有主机->勾选主机-&gt...

iptables# Generated by iptables-save 2019/4/4*filter:INPUT ACCEPT [0:0]:FORWARD ACCEPT [0:0]:OUTPUT ACCEPT [0:0]# example -A INPUT -s 192.168.0.192 -p tcp -m tcp -m multiport --dports 60010,50...

安装web服务以apache为例//# RHEL$ sudo yum install httpd$ sudo service httpd start//# SLES$ sudo zypper install httpd$ sudo service apache2 start//# Ubuntu$ sudo apt-get install httpd$ sudo servic...

创建内部Parcel仓库安装web服务以apache为例//# RHEL$ sudo yum install httpd$ sudo service httpd start//# SLES$ sudo zypper install httpd$ sudo service apache2 start//# Ubuntu$ sudo apt-get install httpd...

KMS HSM问题ERROR: Hadoop KMS could not be started安装Navigator HSM KMS backed by Thales HSM失败,在角色日志里看到的错误信息;可能原因: KMS用户不属于nfast组解决: $ sudo usermod -G nfast kms服务启动失败在/var/log/cloudera-scm-server/cl...

所有端口都是使用TCP访问要求: Internal(内部)用于组件间通信,External(外部)可用于组件间通信或用户访问;Hadoop组件服务端口访问要求配置项QualifierHDFSDataNode50010外部dfs.datanode.address1004外部dfs.datanode.addressSecure500...

HDFS Canary这是HDFS 服务范围(service-wide)运行状况(Healthy)检测,检查基本的客户端操作和操作完成是否在合理的时间内;此测试报告周期运行"canary"测试的结果,按以下顺序操作创建文件,默认路径/tmp/.cloudera_health_monitoring_canary_timestampcanary测试会往文件里写入一些数据,然后读取这些数据并验...

Maximum Request LatencyCDH zookeeper报警: Maximum Request Latency存在隐患 : 请求延迟最大值：32,264。会话超时最大值：40,000。会话超时百分比：80.66%。 警告阈值：75.00%。这是CDH的健康值检查,检查项为ZOOKEEPER_SERVER_MAX_LATENCY查看日志/var/log/zookeeper/...

# 查看系统ansible newnode -m shell -a "df -h"# 修改hostnameansible {{HOSTIP}} -m hostname -a 'name=psjssqsjzxqs92'# 修改host和iptables,同步集群ansible cluster -m copy -a 'src=cluster/hosts dest=/etc/hosts'a...