搭建Hadoop环境之单机模式

安装前的准备:

  1. 需要JDK环境
  2. 防火墙关闭
  3. 创建独立用户
  4. 设置主机名称
  5. 修改hosts地址映射

准备工作:

  1. 先规划安装目录,再/opt下创建software和app目录,software用于存放上传的源文件,app是软件的安装路径,上传文件可以使用 yum install lrzsz 安装 rz 命令来上传文件。
  2. 安装JDK。先把安装包上传至/opt/software下,然后使用 tar -zxvf /opt/software -C /opt/app 命令解压文件,解压至/opt/app下。
  3. 配置环境变量。在/etc/profile里配置环境变量,在里面加入下面两行代码:
export JAVA_HOME=/opt/app/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin:
  1. 配置完后可以使用source /etc/profile来实环境变量生效,然后使用java -version来查看jdk的版本信息。
  2. 关闭防火墙。临时关闭防火墙:service iptables stop。永久关闭防火墙:chkconfig iptables off。
  3. 修改seLinux。编辑/ect/sysconfig/selinux,使SELINUX=disabled。
  4. 修改主机名。临时修改:hostname + 新的主机名,如:hostname mylinux。永久修改:编辑/etc/sysconfig/network,使hostname=新的主机名。
  5. IP绑定hostname。编辑/etc/hosts,加入地址映射,如:192.168.90.11 mylinux。

安装Hadoop

  1. 创建独立用户hadoop,使用useradd hadoop。
  2. 修改独立用户的密码 passwd hadoop。
  3. 编辑visudo设置hadoop 权限。
  4. 切换到hadoop用户下进行解压Hadoop文件 ,之前必须要为hadoop用户设置sudo 权限。
  5. 修改Hadoop源文件的用户和用户组的权限:sudo chown -R hadoop:hadoop Hadoop源文件路径。
  6. 解压Hadoop的源文件:sudo tar -zxvf /opt/software/hadoop2.7 -C /opt/app/hadoop/2.7。

配置Hadoop环境

编辑/opt/app/hadoop2.7/etc/hadoop/hadoop-env.sh,增加JAVA_HOME安装路径。

export JAVA_HOME=/opt/app/jdk1.8.0_181

然后尝试使用/opt/app/hadoop2.7/bin/hadoop命令看能否提示出hadoop命令。
运行官方实例:

/opt/app/hadoop2.7/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

在以上示例中,需要提供输入的路径文件夹, 例如 input , 需要拷贝计算的文件
按照以上的案例格式运行mapreduce 看是否成功,查看output 目录输出结果 。

part-r-00000 输出结果的文件 _SUCCESS 标记文件没有内容 代表任务运行成功

对于之前的操作,数据是存在本地文件系统上。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值