2020-08-18 删库跑路

一、背景：
41-44 4台服务器安装了 CDH6
45-48 4台服务器Apache Hadoop 非HA模式，已能运行hive，并展示数据

计划：将41-48合成一个大的大数据集群

二、步骤：

1. 所有服务器互相免密登录
2. 45-48 安装clouder daemon 和agent 文件
3. CDH 添加主机

三、问题：
免密登录设置后我想重启服务器，不知为何总是不识别hostname,
1 重启后41-44 无法出现CDH home index，查看日志后发现是mysql 连接不上，
解决：
猜测是my.sock.lock 文件的问题，安装的时候也遇到过这个问题，然后查看报错是找不到pid文件
按照报错要求新建pid文件，发现还是不行。
检查my.cnf 文件，发现文件名被改，添加了后缀，恢复名称后，
service mysqld start 启动成功，CDH也能出现了。

2 重启45-48后，start-all.sh 启动hadoop集群进入安全模式（ hadoop为了防止数据丢失，启动了“安全模式”的设置，每次启动hadoop后一段时间内集群处于安全模式，该模式下集群会检查各节点文件块的记录），查看hadoop数据失败，报错could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and 0 node(s) are excluded in this operation.
并且 hadoop dfsadmin report 出现下面的情况

当时太急了，都没有想到要等一等，直接 hadoop dfsadmin -safemode leave 退出了安全模式（实际也有可能会一直呆在安全模式）

然后就是清理损坏的block ,清理完就没数据了。妥妥的删库了。

学的东西一到实际工作就全忘了，我现在感觉自己就是个小白，遇到问题并不能定位、定位到也不知道怎么解决，各种工作过程并不能标准化、可复制。

8.18 多么吉祥的日子，删库了，
删掉dfs 文件后重新format, 还是不行。无法执行 hadoop fs -put
8.19 我来解决这个问题。

解决：
1.首先查看namenode.log日志,看看没报什么错误
hdfs启动正常，上传数据失败，原因可能是 datanode 没有删除data下面的数据

数哥：进入安全模式，强退后 block 损坏或者查不到datanode数据，可能是免密失败，
回复：我检查后发现确实，ssh hadoop01 失败， ssh 13.1.5.45 就能成功，这个问题我很疑惑。
数哥：数据删除要谨慎，兴许解决某个问题后，数据就成回复，hdfs current文件怎么能说删就删呢。
回复：了解。

2. 现在智能将错就错，
   首先处理 45-48免密失败，
   然后删除 datanodes下的data文件，重新format namenode ，重启集群
   让这套大数据环境正常运转

同时 上传工作data 到 cdh 的node1
node1 再上传到 hdfs
再hive 建表 映射，展示，完活。

中间还是遇到很多问题，比如hdfs 文件的账户是hdfs
比如，上传数据的时候要使用
sudo -u hdfs hdfs dfs -put * /ent0728 要带着账户上传

还有啊，root下面的data ，执行上面的问题时 报错 要上传的文件不存在 No such file or …

是因为root下面的数据不能被hdfs 查看

解决办法是：将数据放到 /home/下面，再上传。这样操作的时候要注意观察df -h ，注意文件夹可能内存不够，导致数据上传有问题。

还有，impala 不能映射中的数据库的问题，其实CDH很智能的能够自动映射，应该是因为我不了解这个，就自己建立一个同hive中名字相同库，但一直没有刷新impala中的库，所以以为数据一直过不来，然后看了很多博客要我refresh的。这个错误很不该犯，不过不熟悉的情况下是难免的。

还有，昨天的免密工作，有的成功有的失败。如下图。不识别hostname

仔细分析，就是hostname 文件的问题，但是我就没有考虑过是那里的问题，为啥呢，太简单了。
没想到 啪啪打脸。仔细看45这里少一个点。

这个问题可能导致了昨天的大数据集群崩溃的问题。因为免密出了问题，所以导致各种其他的问题出现。

俗话说 不破不立，现在CDH集群搭建完后也是风雨飘摇不稳定，慢慢完善吧，以后删除数据的时候，找组长问问。。。

我可能不适合这个行业。。。。 奶奶的，希望你能认真对待。

后面的问题再继续记录