MapReduce
GYT0313
邮箱:guyongtao@qq.com
展开
-
MarReduce小练习 - 单表关联(使用标识符)
题意:根据儿子、父母关系,输出孙子、爷奶关系:输入:                &原创 2018-12-04 12:39:02 · 258 阅读 · 0 评论 -
MarReduce小练习 - 单表关联(使用静态变量)
题意:根据儿子、父母关系,输出孙子、爷奶关系:输入:原创 2018-11-30 10:18:51 · 276 阅读 · 0 评论 -
几个小程序巩固、练习 MapRedcue 框架基础
1. wordcount词频统计2. 文字去重3. 统计成绩平均数4. 单表关联5. IP地址来源统计原创 2018-11-27 12:13:19 · 243 阅读 · 0 评论 -
MarReduce小练习 - 多表关联(使用静态变量)
题意:输入文件1:地址编号-地址输入文件2:公司-地址编号根据两个输入文件,输出公司所在的地址。格式如下:1.输入文件1:address.txt:1 Beijing2 Guangzhou3 Shenzhen4 Xian2.输入文件2:factory.txt:Beijing Red Star 1Shenzhen Thunder 3Gu...原创 2018-11-30 18:10:18 · 224 阅读 · 0 评论 -
JavaWeb-文件上传下载-可基于文件内容查询文件(MySQL+Servlet+Hadoop)
hdfs dfs -mkdir -p /data/fileSmartUploadhdfs dfs -mkdir -p /output/原创 2018-12-13 21:44:02 · 1352 阅读 · 2 评论 -
MapReduce练习 - 倒排索引
问题描述读取多个文件的内容,计算内容在那个文件有出现,并且计算其出现的次数(权重),如下:已有三个文件,其内容如下:经过处理,其处理结果如下:以第一行为例: 表示在file1.txt,file2.txt各包含1个 Hadoop。准备输入文件:上传到 hdfs://master:9000/data/indvertedIndex2:代码思路:在Mapper端:根据输入内...原创 2018-12-06 19:12:09 · 361 阅读 · 0 评论 -
协同过滤算法基于用户--使用MapReduce框架实现为用户推荐电影
package com.gyt.collaborativeFiltering;import java.io.BufferedReader;import java.io.File;import java.io.FileOutputStream;import java.io.FileReader;import java.io.IOException;import java....原创 2018-12-20 20:25:01 · 2722 阅读 · 3 评论 -
运行MapReduce程序报错--java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException
java.lang.Exception: java.lang.RuntimeException: java.lang.NoSuchMethodException: com.gyt.collaborativeFiltering.CollaborativeFilteringByUser$ColFilterMapper.<init>() at org.apache.hadoop.mapre...原创 2018-12-22 09:49:13 · 2258 阅读 · 0 评论 -
Hadoop-(wordcount升级版)分析日志统计IP地址来源
1. 前言由于隐私问题,这里不提供日志,可自行准备或随机生成。2. 分析分析日志统计出IP地址来源,重点无非是IP地址,如下图:通过正则表达式提取合理IP地址:正则表达式在线测试网站:http://tool.oschina.net/regex/如下图:将提取出的IP地址查询其地址来源批量IP地址查询网站:http://ip.soshoulu.com/如下图:导出...原创 2018-11-21 20:20:38 · 609 阅读 · 0 评论