搜狗搜索日志分析系统500w数据（mapreduce+java 命令执行流程）

最新推荐文章于 2021-02-22 08:26:17 发布

_虎纹鲨鱼

最新推荐文章于 2021-02-22 08:26:17 发布

阅读量2.8k

点赞数

本文链接：https://blog.csdn.net/Nase_Mitsuki/article/details/102798130

版权

本文介绍了如何使用MapReduce和Java处理500万条搜狗搜索日志，实现查询频度前30的搜索词和访问次数前10的网址及其占比。详细阐述了代码编写、Hadoop环境配置、命令行编译打包及运行过程，包括添加Hadoop classpath、编译Java代码、打包成jar以及运行和检查结果的步骤。

摘要由CSDN通过智能技术生成

基于map-reduce代码实现以下应用，完成数据分析报告，并提交相关代码
1.查询频度前30的搜索词
2.被访问次数前10的网址及其次数占比

任务一：查询频度前30的搜索词
我把我的mapreduce java代码放在/home/hadoop/ 目录下了，起名为WordCount30.java，没有用IDE，是用vim写的。。。（卑微）

将 Hadoop 的 classhpath 信息添加到 CLASSPATH 变量中，在 ~/.bashrc 中增加如下几行：

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH

执行 source ~/.bashrc 使变量生效

[hadoop@localhost ~]$ source ~/.bashrc

通过 javac 命令编译 WordCount30.java

[hadoop@localhost ~]$ javac WordCount30.java

接着把 .class 文件打包成 jar，才能在 Hadoop 中运行：

[hadoo

关注

专栏目录