安装过程中出现的问题

在hadoop的安装中遇到的问题及解决方案：

1、安装Java环境时，我们安装的是JDK1.7
sudo tar -zxvf ./jdk-7u79-linux-x64.tar.gz -C /usr/lib/jvm #把JDK文件解压到/usr/lib/jvm目录下
在配置变量时，要注意jdk的版本(版本问题）
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
2、在安装Hadoop时，不能直接复制网站的安装步骤，要在对应的版本中，做出相应的变化
wget yfyoss.oss.aliyuncs.com**/jdk-7u79**-linux-x64.tar.gz
sudo tar -zxf ~/hadoop-2.7.1.tar.gz -C /usr/local # 解压到/usr/local中
3、在hadoop伪分布式配置中，配置完成后，执行 NameNode 的格式化。如果在这一步时提示 Error: JAVA_HOME is not set and could not be found. 的错误，则说明之前设置 JAVA_HOME 环境变量那边就没设置好，请按教程先设置好 JAVA_HOME 变量，否则后面的过程都是进行不下去的。如果已经按照前面教程在.bashrc文件中设置了JAVA_HOME，还是出现 Error: JAVA_HOME is not set and could not be found. 的错误，那么，请到hadoop的安装目录修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”，在里面找到“export JAVA_HOME=${JAVA_HOME}”这行，然后，把它修改成JAVA安装路径的具体地址，比如，“export JAVA_HOME=/usr/lib/jvm/default-java”，然后，再次启动Hadoop。
在开启 NameNode 和 DataNode 守护进程时，可能会出现如下 WARN 提示：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable WARN 提示可以忽略，并不会影响正常使用。
4、Hadoop无法正常启动的解决方法
一般可以查看启动日志来排查原因，注意几点：
启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，对比下记录的时间就知道了。
一般出错的提示在最后面，通常是写着 Fatal、Error、Warning 或者 Java Exception 的地方。
可以在网上搜索一下出错信息，看能否找到一些相关的解决方法。
此外，若是 DataNode 没有启动，可尝试如下的方法（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）：
#针对 DataNode 没法启动的解决方法
cd /usr/local/hadoop
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启

在hbase的安装中遇到的问题及解决方案：

1、在单机模式的配置中，配置JAVA环境变量，jdk的安装目录默认是 /usr/lib/jvm/java-1.7.0-openjdk， 则JAVA _HOME =/usr/lib/jvm/java-7-openjdk-amd64，其中java-1.7.0-openjdk是你的jdk版本；而我们安装的jdk的版本为jdk1.7.0_79，所以JAVA _HOME =/usr/lib/jvm/jdk1.7.0_79；配置HBASE_MANAGES_ZK为true，表示由hbase自己管理zookeeper，不需要单独的zookeeper。hbase-env.sh中本来就存在这些变量的配置，只需要删除前面的#并修改配置内容即可(#代表注释)
2、注意：如果在操作HBase的过程中发生错误，可以通过{HBASE_HOME}目录（/usr/local/hbase）下的logs子目录中的日志文件查看错误原因。
这里启动关闭Hadoop和HBase的顺序一定是：
启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop

在集群的搭建中遇到的问题及解决方案：

1、如果是在虚拟机终端进行搭建时，需要更改网络连接方式为桥接（Bridge）模式，才能实现多个节点互连
2、在配置集群/分布式环境中，会遗 忘/usr/local/hadoop/etc/hadoop/slaves文件，使后面的搭建出问题
3、在配置文件 hdfs-site.xml时，dfs.replication 一般设为 3，但是有几个Slave 节点，就设置为几。
4、伪分布式、分布式配置切换时的注意事项
（1）,从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件；
（2）在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。
5、在hadoop集群中用put命令上传文件不能成功时解决方案
cd /usr/local/hadoop
在hadoop01上执行
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启
6、在集群的搭建中，出现如下问题或者在给hadoop03上复制文件时，hadoop03总会出现异常，自动异常退出

解决方案：给每个虚拟机分配了1G内存，之前是2G。

java.net.ConnectException

java.io.IoException:
java.net.ConnectException: Call From cnq/192.168.40.141 to 0.0.0.0:100020

failed on connection exception: java.net.ConnectException: 拒绝连接: For more datails see: http://wiki.appche.org/hadoop/ConnectionRefused
解决方案：sbin/mr-jobhistory-daemon.sh --config /usr/java/hadoop/etc/hadoop start historyserver