![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
翻滚牛犊
这个作者很懒,什么都没留下…
展开
-
windows环境调试mapreduce代码出错记录
背景我的运行环境是:64位windows10+vm12+cdh5.15.1我在本地IDEA上写java代码,实现mapreduce功能,在本地环境添加了hadoop需要的jar包。运行时,连接本地虚拟机的hadoop环境,进行调试。可是,出现两个错误,分别是:Failed to detect a valid hadoop home directoryjava.io.IOException:...原创 2019-04-02 15:46:24 · 394 阅读 · 0 评论 -
PageRank介绍与分布式实现
最近,研究了一下pagerank算法,收获颇丰,所以花一些时间整理一下相关知识。本文提到的代码都是可以执行的,如果有任何问题,欢迎留言交流。本文结构如下:pagerank算法介绍–算法背景和原理–算法局限性–算法改进分布式实现pagerank–计算转移矩阵–循环计算pagerank–规范化计算结果–关于代码的补充PageRank算法介绍算法背景和原理1、pa...原创 2019-04-16 16:29:29 · 2194 阅读 · 17 评论 -
Hadoop分布式部署
环境介绍Linux版本:CenterOS 7.2Hadoop版本:hadoop-2.6.0-cdh5.15.1Java版本:jdk-8u201-linux-x64三台机器IP:10.1.2.151、10.1.2.152、10.1.2.153三台机器hostname:bigdata1、bigdata2、bigdata3三台机器节点安排:bigdata1:namenode、datanod...原创 2019-04-21 14:40:04 · 173 阅读 · 0 评论