- 博客(8)
- 资源 (17)
- 收藏
- 关注
原创 大数据 (016)Hadoop-MR编程 -- 【使用hadoop计算微博用户可能喜欢的关键词----编程】
一、前言 以微博为例,每个用户会发很多微博,其中包含了很多关键词信息。而这些关键词就是用户可能感兴趣的事物。我们需要用Hadoop MapperReduce计算出来。折旧引出了文档加权算法。其含义就是计算文档中某关键词的权重,我们使用该权重来判断某用户对某关键词的依赖程度。理想状况下,权重越高,用户越依赖于某关键词。其算法如下图所示。二、源数据 那么
2017-08-26 10:18:27 22539
原创 大数据 (015)Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----编程】
源码链接如下:https://download.csdn.net/download/jintaohahahaha/9933767源码截图:
2017-08-14 22:32:09 400
原创 大数据(014)Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----概念】
一、什么是PageRankPageRPageRankankPageRank –PageRank是Google专有的算法,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。 –是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的 –PageRank实现了将链接价值概念作为排名因素。二、原理
2017-08-14 22:14:52 748
原创 大数据(013)Hadoop-MR编程 -- 【模拟qq推荐你可能认识的人】
一、数据准备xiaoming laowang ruhua linzhilinglaowang xiaoming fengjieruhua xiaoming ligang fengjielinzhiling xiaoming ligang fengjie guomeimeiligang ruhua fengjie linzhilingguomeimei fengjie linzhili
2017-08-13 15:43:00 929
原创 大数据 (012)Hadoop-MR执行环境之---定义多个resuce task
引言 之前我们说道,默认情况下reduce task只有一个,当我们需要对大量数据进行统计时,一个reduce task已经捉襟见肘,那么我们就有必要配置多哦reduce task进行并行任务执行。实例 例子:我们有一个每年每月温度的统计数据需要进行分析。如下图数据。我们需要统计每年中每个月的最高温度的前三名。 自定义分
2017-08-06 17:55:51 389
原创 大数据 (011)Hadoop-MR执行环境之---总述+本地测试环境讲解
总述 上一章中我们是本地开发好打jar包上传至服务器进行执行,但是开发过程中这样显然是行不通的,因此我们需要更多的执行环境。 MR执行环境有两种:本地测试环境,服务器环境一、本地测试环境 本地开发好环境是在windows下执行的。通过eclipse可以看到执行信息。二、服务器环境 首先需要在src下放置服务器上...
2017-08-03 23:03:28 2260 3
原创 大数据 (010)Hadoop-第一次使用eclipse&java&hadoop分析简单数据
一、打开eclipse二、新建java项目mapreducer三、项目下新建lib文件夹,导入hadoop相关jar,jar在源码中有四、项目下建包,写如下三个类1、WorldCountMapper.javapackage com.zjt.mapreducer.data;import java.io.IOException;import org.apache.had
2017-08-02 22:49:56 5400 1
原创 大数据 (009)Hadoop-使用eclipe插件操作HDFS
通过之前对HDFS、MapReduce的学习,我们了解到Hadoop也是需要编程的。那么使用java的我就产生了一个需求,在eclipse中对hadoop数据进行上传下载,以便于为进行测试。一、下载插件包 我这里使用的是eclipse luna版本,在网上下载eclipse相应插件包。我下的是hadoop-eclipse-plugin-2.5.1.jar。如下图
2017-08-02 22:16:43 539
大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包
2022-06-26
flink-1.10.1-bin-scala_2.12.tgz.zip
2020-09-14
scala-SDK-4.2.0-vfinal-2.11-win32.win32.x86_64.zip
2019-12-23
scala工具包.zip
2019-12-23
elasticsearch_license&marvel-agent.zip
2019-11-14
Hadoop (十五)Hadoop-MR编程 -- 【使用hadoop计算网页之间的PageRank值----编程】
2017-08-15
Hadoop (十)Hadoop-第一次使用eclipse&java&hadoop分析简单数据
2017-08-03
SSH整合示例项目 hibernate5.2.3+struts2.5.2+spring4.3.3.zip
2016-10-18
SSH项目整合示例【OpenSessionInView】所用到的jar包
2016-10-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人