大数据开发和运维
华南虎1989
专注于大数据技术开发和研究
展开
-
检查Hadoop集群中HDFS数据的均衡程度
检查节点上数据的均衡程度最好的办法是使用 hdfs dfsadmin -report 命令,来检查数据的均衡程度,以确定均衡的频率,以下示例是显示如何检查集群中HDFS数据的均衡度:sudo -u hdfs hdfs dfsadmin -report | cat <(echo "Name: Total") - |grep '^\(Name\|Total\|DFS Used\)' | tr '\n' '\t' | sed -e 's/\(Name\)/\n\1/g' | sort --field-s原创 2020-05-18 15:18:18 · 725 阅读 · 0 评论 -
Hadoop3.1遇到的DataNode无法启动解决方案
hadoop 2.6遇到的DataNode无法启动原创 2020-05-14 10:15:12 · 2319 阅读 · 0 评论 -
磁盘容量监控
#!/bin/bashhost_ip=$(/sbin/ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")storage_num1=$(df -h | grep -v Filesystem | grep -v 文件系统 | awk '{print $5,$6}' | awk ...原创 2020-03-23 14:22:32 · 337 阅读 · 0 评论 -
安装MySQL数据库
安装MySQL部署文档:https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/# yum -y install yum-utils# rpm -ivh https://dev.mysql.com/get/mysql80-community-release-el7-1.noarch.rpm# yum-config-manager ...原创 2020-03-03 21:09:56 · 162 阅读 · 0 评论 -
Centos7.5安装Ambari2.6.1+HDP2.6.4搭建Hadoop集群
1.1 版本说明软件 版本CentOS Linux release 7.5.1804 (Core)jdk jdk-8u112-linux-x64.tar.gzAmbari ambari-2.6.1.0-centos7.tar.gzHDP HDP-2.6.4.0-centos7-rpm.tar.gzHDP-UTILS HDP-UTILS-1.1.0.21-centos7.tar.gz1...原创 2018-10-08 17:59:49 · 1499 阅读 · 0 评论 -
Hortonworks Nodemanager启动但失败:连接拒绝:8042 解决方法
问题描述:Connection failed to http://10.171.31.40:8042/ws/v1/node/info (Traceback (most recent call last): File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/YARN/package/alerts/alert_nodemanage...原创 2019-09-03 17:59:30 · 4632 阅读 · 0 评论