大数据平台及组件安装部署

Hadoop全分布部署

：分布式搭建完成后，根据Hadoop两大核心组成，可以通过检测这 HDFS 分布式文件系统和 MapReduce 来完成监测工作

		1.初始化集群，使用Hadoop命令启动集群
		2.使用Hadoop命令，创建HDFS文件夹
		3.使用HDFS命令查看文件系统 “/”路径下是否存在文件
		4.调用Hadoop自带的WordCount 程序去测试 MapReduce，查看控制台是否能正确统计单词数量

        5.使用 JSP 查看各个节点启动的进程情况，都启动成功说明系统启动正常。
        dxc（主节点）启动情况
        jsp
        
        NameNode
        SecondaryNameNode
        jps
        ResourceManager
        dxc2
        jps
        
        jps
        NodeManager
        DataNode
        
        dxc3
        jps
        
        jps
        DataNode
        NodeManager
        
        6.查看Hadoop的Web监控页面
        使用浏览器浏览主机节点http://dxc:50070.查看NameNode 节点状态说明系统启动正常，
        使用浏览器浏览dxc节点http://dxc:8088,查看所有应用说明系统启动正常
        
        7.使用Hadoop命令关闭集群
        stop-all.sh

Sqoop组件部署

       1.验证sqoop是否部署成功
         出现版本号则为成功
    
       2.Sqoop连接Mysql数据库
       Sqoop 需要启动Hadoop集群，通过Sqoop连接Mysql查看数据库列表判断是否安装成功，
       sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root -P
       
       3.Sqoop 将 HDFS 数据导入到Mysql
       hadoop目录下
       登录数据库
       mysql -u root -p
       use 数据库名；
       select * from 表名；
       delete * from 表名；
       exit；
      将HDFS数据导入到Mysql
    sqoop export --connect "jdbc:mysql://master:3306/sample useUnicode=true&characterEncoding=utf-8" -- username root --password Password123$ --table student --input-fieldsterminated-by ',' --export-dir /user/test Warning: /opt/sofeware/sqoop/../hcatalog does not exist!
      确认是否导入数据
      mysql -u -root -p password
      use 数据库名；
      select * from student；

Hive 组件部署

     1.初始化Hive
     schematool -dbType mysql -initSchema
     2.启动Hive
     由于Hive是Hadoop生态中的一个组件，只需要测试hive时候能正常启动即可，启动Hadoop环境下通过HIive命令(出现hive>则证明成功)
     hive
     hive>