THREEFUCT的博客

map输出，分割单词增加尾部1，方便统计 reduce统计 调用管道符测试 上面是一个简单的例子 加大一点点难度 使用MapReduce实现如下功能(要mapreduce思维实现，考虑多节点协同处理，非以往的Python单节点处理数据思维)现有数据 emp.csv 、 dept.txt emp.csv ----------------------------- ------------------------ dept.csv 部门编号 姓名

csv数据参考 hadoop综合实验(对日志的处理mapreduce保存到csv) 三、使用Hive对日志数据进行分析和统计 记得运行hdfs，参考 hadoop综合实验(对日志的处理mapreduce保存到csv) 启动hive 创建数据库 查看数据库是否创建成功 使用数据库 创建表该表对应的是csv里面的部分内容，部分数据如下 把csv表的数据导入到数据库 1、（代码、截图）哪个IP地址(域名) 访问次数最多？ 2、（代码、截图）哪个IP地址(域名) 产生的流量最大？ 3、（代码、截图）产生流量最大的

综合实验：网站访问日志采集、处理及分析实验步骤 注：截图必须使用实验机的带水印截图功能，题目中要求截图但未提供的视为未做一、使用Flume导入日志数据数据文件下载地址： 新建一个待监控的文件夹，放入三个日志文件我这里是lhx1、（代码）创建flume配置，文件内容及部分属性注释(注意路径)： 2、（截图）运行flume配置的命令（运行前需启动hadoop）： 3、（截图）日志导入到hdfs后，查看hdfs目录内容： 4、（截图）选取一个文件查看前几条内容: 二、使用MapReduce对日志数据进行预处理1、

1、ls命令使用 ls命令主要用于查看文件内的信息 ls /home ls -al /home/ubuntu -a 显示所有文件（all, linux中隐藏文件以"."开头） -l 详细信息显示(long) -d 查看目录属性(diretory) -i 查看文件iNode号（每一个文件特殊的标识） -h 信息的人性化显示（human） 如下使用 ls -a /home ls -l /home ls -al /home ls -alh /home 2、pwd 和 cd 显示当前工作的目录 pwd