![](https://img-blog.csdnimg.cn/2019092603225128.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
坚果大叔
简单生活,简单快乐
展开
-
【10】基于大数据hadoop框架实现PageRank算法
文章目录一、PageRank算法的简介二、算法原理1、基本原理2、互联网角度3、修正PageRank计算公式:增加阻尼系数4、基于大数据原生hodoop来思考这个算法实例三、Java代码实现 一、PageRank算法的简介 PageRank算法也叫佩奇排序算法,是Google在搜索引擎称霸互联网宝藏中的的算法之一,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。 是Google创始...原创 2019-09-26 06:56:00 · 1505 阅读 · 1 评论 -
【11】大数据Hadoop框架下的TF-IDF技术原理和代码实现
文章目录一、TF-IDF 技术简介本次代码计算环境是 :1、词频 (term frequency, TF)2、逆向文件频率(inverse document frequency, IDF)3、TF-IDF4、基于大数据hadoop框架的代码案例实现5、Java代码实现结果显示 一、TF-IDF 技术简介 TF-IDF(term frequency–inverse document frequen...原创 2019-10-07 13:18:30 · 405 阅读 · 0 评论 -
【01】Hadoop介绍
文章目录一、Hadoop简介二、存储模型三、HDFS的Block副本放置策略四、架构模型五、HDFS设计思想1. NameNode(NN)2.NameNode持久化3.DataNode(DN)六、HDFS写流程七、HDFS读流程八、HDFS文件权限 POSIX九、安全模式十、HDFS优缺点1.优点2.缺点 一、Hadoop简介 2003-2004年,Google公开了部分GFS和Mapredu...原创 2019-10-07 12:59:28 · 685 阅读 · 0 评论