2021-06-20

在hadoop的安装中遇到的问题及解决方案：

1、在环境配置变量时，要注意jdk的版本(版本问题）
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
2、在安装Hadoop时，不能直接复制网站的安装步骤，要在对应的版本中，做出相应的变化。
3、在hadoop伪分布式配置中，配置完成后，执行 NameNode 的格式化。如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误，则说明之前设置 JAVA_HOME 环境变量那边就没设置好，请按教程先设置好 JAVA_HOME 变量，否则后面的过程都是进行不下去的。如果已经按照前面教程在.bashrc文件中设置了JAVA_HOME，还是出现 Error: JAVA_HOME is not set and could not be found. 的错误，那么，请到hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”，在里面找到“export JAVA_HOME=${JAVA_HOME}”这行，然后，把它修改成JAVA安装路径的具体地址，比如，“export JAVA_HOME=/usr/lib/jvm/default-java”，然后，再次启动Hadoop。

在开启 NameNode 和 DataNode 守护进程时，可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略，并不会影响正常使用。
4、针对 DataNode 没法启动的解决方法
cd /usr/local/hadoop
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启

在hbase的安装中遇到的问题及解决方案：

1、在单机模式的配置中，配置JAVA环境变量，jdk的安装目录默认是 /usr/lib/jvm/java-1.7.0-openjdk， 则JAVA _HOME =/usr/lib/jvm/java-7-openjdk-amd64，其中java-1.7.0-openjdk是你的jdk版本；而我们安装的jdk的版本为jdk1.7.0_79，所以JAVA _HOME =/usr/lib/jvm/jdk1.7.0_79；配置HBASE_MANAGES_ZK为true，表示由hbase自己管理zookeeper，不需要单独的zookeeper。
2、注意：如果在操作HBase的过程中发生错误，可以通过{HBASE_HOME}目录（/usr/local/hbase）下的logs子目录中的日志文件查看错误原因。
这里启动关闭Hadoop和HBase的顺序一定是：
启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop

在集群的搭建中遇到的问题及解决方案：

1、在配置集群/分布式环境中，会遗 忘/usr/local/hadoop/etc/hadoop/slaves文件，使后面的搭建出问题
2、在配置文件 hdfs-site.xml时，dfs.replication 一般设为 3，但是有几个Slave 节点，就设置为几。
3、伪分布式、分布式配置切换时的注意事项
（1）从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件；
（2）在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。
5、在hadoop集群中用put命令上传文件不能成功时解决方案
cd /usr/local/hadoop
在hadoop01上执行
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启

IJ有关问题：

一.在安装flume之前
1.把下载的flume要从下载移动到home
2.启动Hadoop
3.切换到主目录
安装时
1.解压flume之后要到 /usr/local目录下
2.创建hdfs时要用小写，不能用大写。
3.代码更改完要更新。
4.上传代码时，要看传到哪里。名字要看清楚，即使事空格，点号程序也会出错，运行不了。