Hadoop问题

Hadoop中常见的错误

1。 Hadoop：未找到命令解决办法。
当我们输入Hadoop命令时可能会出现Hadoop：未找到命令的报错，这说明我们不能在这个目录下使用Hadoop命令。这时候我们有两种解决问题的方法。

方法一：
①export PATH=$PATH: /usr/local/hadoop/bin
②hadoop version
这样比较快捷方便，但是这个方法只适用于当前终端，也就是说，当你把当先正在使用的终端关闭后，再打开输入hadoop命令，依旧会报错，输出Hadoop：未找到命令。

方法二：
①vim .bashrc #编辑个人的一些个性化设置,添加PATH路径
进入页面以后，翻到最下面，添加一下内容：
②export JAVA_HOME=/usr/local/jdk
③export PATH = $HADOOP_HOME /bin: $JAVA_HOME/bin: $PATH
#Esc，wq，保存退出
④source .bashrc #使修改以后的 .bashrc文件快速生效。
使用方法二修改过后，可以在所有终端中的所用目录下都能使用Hadoop命令，个人比较推荐方法二，一劳永逸。

2 。Ubuntu内存不够大，从他人那里拷贝Ubuntu并进行复盘操作。
我在Ubuntu中下载安装hbase时发现做到一半不能继续下去了，原因是我当初设置的内存太小，只有15g，之前下载Hadoop等一系列软件已经占据了大量空间，而安装hbase至少要求我的内存为20g。所以老师建议我从别人那里拷贝他们的盘，进行复盘，也就是说，我不需要重新下载安装一个新的Ubuntu，只要到别的内存足够大的同学那里拷贝复盘即可，我需要在我的虚拟机中再添加一个内存大一点的Ubuntu。下面我介绍一下具体的操作。

首先，拿U盘到Ubuntu内存足够大的同学那里进行拷贝，打开，这时我们打开的其实是同学的虚拟机，要变为自己的虚拟机需要我们修改密码，首先输入他的密码登录，打开终端，输入一下内容：
①cd /usr/local/hadoop
②…/sbin/start-dfs.sh
③sudo vim /etc/hosts
④再次输入密码
⑤修改密码hosts后，点击右上角的设置中的系统设置，打开用户账户，找到现在登录的账户，修改密码，倘若修改不了，说明该对话框已锁定，只需要点击右上角的解锁即可修改密码，再次登录就只要输入自己新设置的密码就可以了。

3 。在伪分布式和分布式两种模式切换过程中，datanode无法正常启动。
在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，可以删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。

4 。java jpi操作hdfs中的问题
老师布置了这样一个作业：使用java api方式创建一个类，在这个类下创建一个文件，文件内写入一些大写字母，后在虚拟机上打开，使写入文件中的字母转换成小写的英文字符。
下图为创建文件的内容：

但是当我打开在我去虚拟机中找不到文件，输入和创建文件一样的名字，却找不到该文件。
后来在询问老师之后了解到是我在命名文件的时候多打了一个空格，这会造成我们在虚拟机上查找文件的时候会出现两个相同名字的文件，其中有一个文件是存在空格的，因为我在创建的时候就多打了，但是在虚拟机上搜索的时候是没有输入空格的，当然会找不到了，这时候你有两种解决办法：
①在搜索文件的时候多打一个空格，但我不建议这样的解决方法，这样虽然在当时会比较便利，但是以后我们要使用这个文件的时候会很容易搞混，因为在Xshell中输入的时候我们并不会再输入一个空格，所以为了防止搞混，还是不要输入空格。
②修改成正确的格式以后重新打包传输文件，这样的方法更好，一劳永逸，也不会搞混。
以下是正确的创建文件内容：

4 。还有就是在打开Xshell软件的时候显示拒绝连接，那可能是因为你还没有启用，所以会显示拒绝连接。这时候只要输入命令：start-dfs.sh即可启用。

5 。Hadoop集群安装配置过程中配置集群/分布式环境过程中遇到的问题：
集群/分布式模式需要修改改/usr/local/hadoop/etc/hadoop 中的5个配置文件。设置的主节点名字为hadoop01，Slave节点名为hadoop02和hadoop03。但是我在配置完五个文件以后，再执行命令的时候会报错，因为我修改的那五个代码都是直接复制过来的，没有修改过，应该没有输入上的错误，但是它后面又在报错，我就去重新做了几遍，发现是因为教程上的slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 这五个文件修改是基于教程而写的。而教程上的Master节点就是叫Master，Slave节点也只有一个叫Slave1，但是我的Master节点和Slave节点都不是这个名字，而且我也不只有一个Slave节点。
所以我应该修改文件中所有的Master，把Master改为hadoop01，在hdfs-site.xml文件中dfs.replication 直接设为1，是因为教程上只有一个Slave节点。我们有两个Slave节点，所以在文件 hdfs-site.xml，我们把dfs.replication值设为3（有几个Slave节点设为几，但是一般都设为3，所以这里也设为3。）

6 。使用CentOS系统配置Hadoop集群安装配置过程中telent端口不通解决方法：
在使用CentOS系统搭建Hadoop集群的时候我发现ping是可以ping通的，但是telent端口不通，DataNode启动了，但是 Live datanodes还是0。在上网百度搜索后发现是因为CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。所以有防火墙会导致 ping 得通但 telnet 端口不通，从而导致 DataNode 启动了，但 Live datanodes 为 0 的情况。所以我们只需要关闭防火墙即可。

在 CentOS 6.x 中，可以通过如下命令关闭防火墙：可以输入以下命令：
①sudo service iptables stop # 关闭防火墙服务
②sudo chkconfig iptables off # 禁止防火墙开机自启，就不用手动关闭了

若用是 CentOS 7，需通过如下命令关闭（防火墙服务改成了 firewall）：
①systemctl stop firewalld.service # 关闭firewall
②systemctl disable firewalld.service # 禁止firewall开机启动

如下图，是在 CentOS 6.x 中关闭防火墙：

7 。java api 操作hbase中遇到的问题：
创建一个hbase表，把华为大数据平台上的表内容解析后插到创建好的表中，在读取数据的时候我遇到了问题，要如何把文件中的内容插到创建好的表中呢？
在询问老师后了解到首先要用字符串操作，读出一行数据，把数据分成几列，然后把这些数据按照要求写入表中，相当于把文件中的数据拆分成适合表插入的数据。因为平台上的数据是由逗号隔开的，所以需要用逗号分成相应的几个字段，用平台上给我的代码，修改一些内容，增加读数据，拆数据 ，写入数据的代码即可。另外在创建表格的时候，如果用平台上的代码，原先都是手动在代码中直接输入数据，现在我们是直接把平台上的文件拆出来并插入，所以需要修改，把引号中的内容直接删掉

8 。Ubuntu每一次中期都要重新安装解决方法：

这是我们安装好后的Ubuntu，但是我在关掉虚拟机后重新打开发现需要重新安装，我一开始以为是哪里操作错误，所以又重新安装了好多遍，后询问老师得知我不需要每次打开虚拟机都重新放光盘，如果光盘未经卸载，光驱是打不开的所以只要把它移除掉即可，如下图：

9 。创建hbase表时遇到的问题：
我一开始虚拟机里做发现在创建表的时候，它加载了好久，然后就一直加载不出来，后来我输入什么键都不行，比如输入删除键，它输出的是^?，输入其他的方向键也是输出一些奇奇怪怪的东西，如下图：


后来了解到是因为我hbase没有搭建成功，是因为它没有连接上，我们去查看从前的搭建过程，重新搭建即可。

10 。安装IntelliJ中遇到的问题：
在我安装好后发现使用不了，项目SDK也是标红，显示jdk是错误，或者已损坏。

后来发现是因为这个文件标红是因为这个文件已经损坏了，或者是因为我在复制的时候没有复制全。这个时候只能去同学那拷贝一个重新安装。

11 。在Windows中使用VirtualBox安装Ubuntu虚拟机过程中遇到的问题：
点击“新建分区表”按钮。这时，可能在界面上无法看到“+”按钮，这是由于计算机的分辨率问题导致的，遇到这种情形时，可以按住键盘的“Alt”键，再把鼠标移动到安装界面上，点住鼠标左键不放，向上拖动界面，就可以看到其他被遮住的部分了。后面在安装过程中，可以用这种方法处理类似问题。

在安装完以后重启，重启时，可能会出现如下提醒页面：
我们可以自己关闭虚拟机系统,如下图
选择“强制退出”选项：