ubuntu14.04+hadoop 2.7.1环境搭建

Ubuntu14.04+Hadoop 2.7.1+HBase1.1.2 环境搭建

厦门大学数据库实验室提供

学习资源MOOC链接：
http://www.icourse163.org/course/XMU-1002335004?tid=1002458005
Hadoop安装详细步骤链接，包含SSH和JAVA环境配置
http://dblab.xmu.edu.cn/blog/install-hadoop/
Hadoop-Eclipse-Plugin安装链接（先下载与hadoop对应的插件版本）
http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/
HBase安装详细步骤链接：
http://dblab.xmu.edu.cn/blog/install-hbase/
Spark入门：Spark的安装和使用：
http://dblab.xmu.edu.cn/blog/1307-2/
解决Maven、sbt无法下载依赖包的问题
（Spark入门：四、Spark独立应用程序编程 安装打包环境时会遇到该问题）：
http://dblab.xmu.edu.cn/blog/maven-network-problem/

本人遇到过的问题及解决方法：

1、Ubuntu sudo apt-get update无法获得锁无法对目录加锁问题解决方法
问题：
更新资源sudo apt-get update时遇到
E: 无法获得锁 /var/lib/apt/lists/lock - open (11: 资源暂时不可用)
E: 无法对目录 /var/lib/apt/lists/ 加锁
解决办法：
（1）sudo rm /var/lib/apt/lists/lock
（2） ps aux #列出当前进程列表 找到 apt-get 那个被lock住的进程记下PID
sudo kill PID 即可
注：亲测可用。参考链接：[1]: https://www.jb51.net/os/Ubuntu/310156.html
2、 Java编程访问hdfs时报出异常　
　　异常提示：No FileSystem for scheme: hdfsXXX
　　解决方法：找到/usr/local/hadoop/share/hadoop/common/hadoop-commom-2.7.1.jar(视hadoop安装目录和版本而定)里面的core-default.xml，双击.jar打开后找到core-default.xml，用gedit知道文件取出并修改，在末尾添加如下代码，<>之间其实不存在空格，复制后注意删除掉空格，这里是编辑原因才加的：
< property >
< name >fs.hdfs.impl< /name >
< value >org.apache.hadoop.hdfs.DistributedFileSystem< /value >
< description >The FileSystem for hdfs: uris.< /description >
< /property >
然后保存更新.jar文件（会有自动提示），依赖jar包中一定要有hadoop-hdfs-2.7.1.jar。
注：参考链接https://www.cnblogs.com/fbiswt/p/3314439.html
3、 java.lang.NoClassDefFoundError错误
解决方案：根据提示在增加相应的jar文件（右键工程名->properties->java build path->libraries）。主要在/usr/local/hadoop/share/hadoop/common/lib和/usr/local/hadoop/share/hadoop/hdfs/lib中。
参考链接：https://www.cnblogs.com/xyhz0310/p/6803950.html

其他相关

1、Java开发环境安装
1.1 步骤1-8参考https://www.cnblogs.com/lvchaoshun/p/6131839.html，注意文中jdk1.8.0_111需要用自己下载的版本替换（比如我当时用的jdk1.8.0_201对应的是下载的安装包是jdk-8u201-linux-i586.tar.gz），步骤7中最后一行最后的路径改成自己的，我的登录名是hadoop，就改成sudo cp eclipse.desktop /home/hadoop/桌面
1.2 步骤9：sudo chmod 777 /home/hadoop/桌面/eclipse.desktop