MapReduce+hive无分区书写流程

Mapreduce+hive分析无分区情况下 书写流程

1.原始数据加载到HDFS平台

sftp 192.168.56.2 将原始数据上传至linux本地

root用户下 ls 命令进行查看是否上传成功

成功：①启动Hadoop

        cd app/hadoop../sbin/./start-all.sh

        启动成功后 jps查看进程

        此时，位置应处于sbin目录

      ②回到Linux本地家目录下  cd ~

      ③上传原始文件至hdfs根目录

        hadoop  fs  -put  xx.txt(上传文件名)  /

2.使用Mapreduce进行数据清洗，只保留日志中的用户手机号、访问网站,访问时间

①创建项目

②new floder -- lib 导入jar包 -- bulider path

③创包 - 创类

④书写代码