大数据之hadoop 环境搭建从零开始——WordCount词频计数入门实战训练

        这里的前提是要先安装一个干净的CentOS系统，我这里用的是CentOS6.6，安装教程参考另一篇博客：https://blog.csdn.net/gaofengyan/article/details/85054337

目录

hadoop 环境搭建

2.3 Hadoop 集群搭建

1. 安装hadoop

2. 格式化与启动

3. hdfs 命令

4.  安装eclipse

5.hdfs分布式  wordcount 单词计数作业 测试

---

hadoop 环境搭建

注意下面Linux环境搭建和jdk安装的部分顺序，有提示（为了方便，少操作步骤，安装完jdk再克隆就少两次jdk安装）。

1. 概念

        集群概念图：我们将项目A整体按照规划好的方式拆分多个模块到不同的服务器部署，这些服务器的网址是受到保护的，为了安全，不向外泄露。因此，客户为了访问到项目A的所有内容又不能分不同网址访问不同服务器上的内容，所以用一个虚拟的PC统一管理项目的发布地址，并做安全防护，用户就可以通过中间虚拟PC的链接访问整个内容。而所有的部署了项目服务器就形成一个集群。

1.1 理论
    1）集群：指的是多台设备构成一个完整的应用，构成该应用的这些设备就构成了一个集群。
    2）Hadoop：只是集群中的一种，Hadoop集群本身也包含两种集群。
         Hadoop=hdfs + 运算框架。
         Hadoop的运算框架有两种：mapreduce（第一代运算框架）和yarn（第二代运算框架）
    3）hdfs：
         hdfs = hadoop  dfs ; d->分布式，fs->filesystem(文件系统，物理存储)
    4）mapreduce
         hadoop第一代运算框架：hadoop的底层运算框架。
    5）yarn
         hadoop第二代运算框架：yarn 必须在第一代运算框架启动后才能使用。

1.2 术语
    1）m/s
       m/s指的是master(主)/slave(从)结构，即主从结构
       一个管理者（master）多个工作者（slave）。master负责分配与派发任务，slave负责执行任务。
       在hadoop配置和命令中，主机是namenode，从机是datanode。

    
    2）公钥
       公钥是一对加密代码（MD5加密文件），A节点将A的公钥发送给其他设备后，A节点就能免密登陆其他设备。
    3）免密登陆
       集群节点之间通信不需要输入密码也能互相登陆发送信息。实现方式是通过公钥实现的。

2. Hadoop集群搭建
2.1 集群配置方案
     以下是集群设备配置方案（这里我给的是一个示例，以三台设备来实战练习）：
     角色    网络用户名    用户名    用户组               ip                子网掩码                 网关                DNS  
    master    node1         hduser    hadoop     192.168.3.55    255.255.255.0     192.168.3.1      192.168.3.1
    slave      node2         hduser    hadoop     192.168.3.56    255.255.255.0     192.168.3.1       192.168.3.1
    slave      node3         hduser    hadoop     192.168.3.57    255.255.255.0     192.168.3.1       192.168.3.1

2.2 Linux环境搭建
    1）创建用户与用户组（root账号用户）
         用户：hduser     用户组：hadoop 

        [liang@localhost ~]$ su root
        密码：
        [root@localhost liang]$ groupadd hadoop
        [root@localhost liang]$ useradd -g hadoop hduser
        [root@localhost liang]$ passwd hduser
        更改用户 hduser 的密码 。
        新的 密码：
        无效的密码： 过于简单化/系统化
        无效的密码： 过于简单
        重新输入新的 密码：
        passwd： 所有的身份验证令牌已经成功更新。
        [root@localhost liang]# 

    2）修改网络用户名，所在网卡位置：（/etc/sysconfig/network）

        [root@localhost liang]$ cat   /etc/sysconfig/network
        NETWORKING=yes
        HOSTNAME=localhost.localdomain
        NTPSERVERARGS=iburst
        [root@localhost liang]$ vi  /etc/sysconfig/network

        修改hostname 值为 node1

    
    3）修改本地主机名（网络用户名）解析记录

      为了更好学习使用集群，我们把Windows主机网络连接更改成静态绑定ip，使用局域网，这样我们可以访问外网，但外网不能访问内部，绑定ip如下：

        打开hosts配置文件
        $>vi   /etc/hosts
        在文件中增加如下内容：
        192.168.3.55     node1
        192.168.3.56     node2
        192.168.3.57     node3

    
    
    4）更改用户 hduser  拥有超级用户角色（ /etc/sudoers )

       查看权限：$>ls  -l  /etc/sudoers   -r--r----- 权限码是440
       ① 修改sudoers权限为可变编辑
       $>chmod 777  /etc/sudoers
       ② 打开sudoers文件增加内容：
       $>vi   /etc/sudoers
        ③ 增加内容：

         在root  ALL=(ALL)   ALL 下面增加  hduser  ALL=(ALL)   ALL
       ④ 增加完以上内容再将sudoers权限改回440，一定要改回去，不改回去整改系统都会崩掉不能用。
       $>chmod 440  /etc/sudoers