学期问题总结

一、使用VirtualBox安装Ubuntu
问题一、在创建新的分区中，如何分区有疑问，后找寻资料解决。
如何创建新分区方式如下：



创建分区，添加交换空间和根目录。
交换空间设置如下：
大小：512MB
新分区的类型：选择“主分区”选项
新分区的位置：选择“空间起始位置”选项
用于：在下拉列表中选择“交换空间”选项

同理根目录设置：
大小：不用改动，系统自动设为剩余的空间
新分区的类型：选择“逻辑分区”选项
新分区的位置：选择“空间起始位置”选项
用于：在下拉列表中选择“EXT4日志文件系统”选项
挂载点：在下拉列表中选择“/”选项

最终结果如上图即可继续安装。
问题二、由于后续需要安装HBASE、hadoop等占大量内存，起初新建虚拟机时，将内存大小调到40GB较好。
我由于后续安装了很多，不想从头来，所以直接拷贝了别人的虚拟机。

二、Hadoop安装及伪分布式配置
问题一、安装hadoop 2时压缩包找不到
当时解压输入的命令为 将 Hadoop 解压至 /usr/local/ 中
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中

原因：我hadoop 2的安装包是在虚拟机中的网站上下载的，下载完成的路径没有和输入命令的路径（在下载中）一致

解决方案：1.将下载好的安装包移至~/下载的目录下
2.将命令中的路径改为安装包所在的路径即可。

问题二、输入jps命令，DataNode没有启动。
解决方案：
在shell命令窗口输入以下命令

针对 DataNode 没法启动的解决方法

cd /usr/local/hadoop
./sbin/stop-dfs.sh # 关闭
rm -r ./tmp # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format # 重新格式化 NameNode
./sbin/start-dfs.sh # 重启

安装JDK时方法一有较多错误，就用了简单的方法三
具体代码在网页dblab.xmu.edu.cn/blog/install-hadoop/

在整个安装过程中一定要注意路径是否一致

三、HBASE分布式数据库安装
问题一、安装好HBASE后，启动的时候必须要到/use/local/hbase路径下

原因：在配置环境变量的时候，编辑后没有执行生效、
解决方案：先进入/use/local/hbase路径下
将环境变量添加到~/.bashrc文件中
最终输入命令source ~/.bashrc生效

问题二、有时用vi命令更改环境变量，发现文件是空
没有在指定目录下打开
先cd到指定目录再更改变量

四、Hadoop集群安装配置
问题一、集群实现不了多个节点互联，Xshell不能远程连接到hadoop01、hadoop02、hadoop03的shell命令窗口。
原因：网络设置没有改变
在搭建hadoop集群前要将作为Master节点的机器网络配置为

再复制此虚拟机成为Slave节点。

问题二、在搭建过程中找不到Slave节点hadoop02、hadoop03.
原因：复制Master节点hadoop01后，没有更改/etc/hostname和/etc/hosts文件内容。
将名称和网址改为对应的Slave节点内容即可。

问题三、配置集群/分布式环境出错
没有到指定目录下
复制配置代码时，没有将Master节点、Slave节点名称改为与自己相对应的名称。

在搭建集群时，一定要细心，在Master节点的操作，还有会在Slave节点的操作不要搞混。

五、HDFS Java API与HBASE Java API
在新建项目的时候找不到JDK的资源
问题出现在JDK下载中，在Java安装中，有路径选择，尽量不要改变并记住安装路径。安装完毕后，对环境变量进行配置，路径要选择正确。