大家好,今天总结一套搭建Hadoop的搭建流程
目标:Linux(Ubuntu)上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例
准备:
- Unbuntu18.04.1-desktop-amd64.iso、
- JDK环境变量配置、
- hadoop-2.6.4.tar.gz、
- hadoop-eclipse-plugin-2.6.0.jar、
下载地址:
- https://www.ubuntu.com/download/desktop/thank-you?version=18.04.2&architecture=amd64
- http://www.oracle.com/technetwork/java/javase/downloads/jdk8-dow nloads-2133151.html
- http://hadoop.apache.org/releases.html
- https://github.com/winghc/hadoop2x-eclipse-plugin/blob/master/release/hadoop-eclipse-plugin-2.6.0.jar
上面第四项:因为不同的hadoop版本对应不同的eclipse插件,因此需要自行编译hadoop的eclipse插件。编译eclipse插件必须要有源码。
步骤1
使用VMware虚拟机,加载下载好的Unbuntu.iso镜像,安装Ubuntu系统,启动。
步骤2
创建Hadoop组,使用命令:
创建Hadoop用户,并加入刚才的用户组
修改权限
sudo的配置文件是sudoers文件,它允许系统管理员集中的管理用户的使用权限和使用的主机。
然后退出当前用户,使用hadoop用户登录系统,做如下操作。
步骤3
安装SSH
- 安装SSH软件组件
- 启动SSH服务
- 查看服务的状态
SSH保存密钥免验证连接
- 免验证连接
- 创建密钥文件
- 保存密钥信息
此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。将公钥追加到authorized_keys中,保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
步骤4
使用WinSCP,使用hadoop用户,密码***连接到服务器
步骤5
可以在Java的官方网站上找到Linux可用的JDK
下载 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-dow nloads-2133151.html
或者,自己在windows下载好后,使用SSH的WinSCP传送给服务器
解压后安装
再次建议大家现在登录名称应该是:hadoop
安装JDK,配置成功后可以利用Java提供的工具命令测试环境是否成功。
步骤6
安装Hadoop
下载Hadoop(http://hadoop.apache.org/releases.html)并解压 配置必要环境变量
使用SSH上传下载好的hadoop.tar.gz
修改环境变量的配置文件
修改Hadoop-env.sh中的JAVA_HOME路径
步骤7
测试安装结果。
- 执行完上述步骤后Hadoop的单机模式即可使用,可以利用Hadoop提供的示例测试环境安装配置是否成功。
- MapReduce领域的Hello World:单词计数
创建一个文件夹input,并将一个README.txt文件复制进入input文件夹中
执行hadoop的示例jar,执行java代码WordCount 给定输入,输出文件夹
显示出结果
使用命令查看输出后的结果,测试内容完毕。
待续……
精彩内容继续,您的点赞(๑•̀ㅂ•́)و✧是我的动力,感谢你的支持,谢谢