![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
xiedelong
这个作者很懒,什么都没留下…
展开
-
hive 删除分区
alter table database.tabel drop partition (dt='20210722')原创 2021-07-23 11:35:20 · 5810 阅读 · 0 评论 -
Hadoop编程学习1--WordCount
package org.apache.hadoop.examples;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.F...原创 2018-05-17 23:27:20 · 287 阅读 · 0 评论 -
Hadoop编程学习2--合并去重
package org.apache.hadoop.examples;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org...原创 2018-05-17 23:38:01 · 2443 阅读 · 1 评论 -
Hadoop编程学习3--数据排序
package org.apache.hadoop.examples;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apach...原创 2018-05-17 23:50:28 · 415 阅读 · 0 评论 -
Hadoop编程学习4--倒排索引
倒排索引介绍: 倒排索引是被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射,是目前几乎所有支持全文索引的搜索引擎都需要依赖的一个数据结构。倒排索引的设计思路:Map过程: Map过程首先必须分析输入的key,value对,得到倒排索引中需要的三个信息:单词、文档名和词频,将单词和URL组成key值(如”MapReduce:test1.txt”),将词频...原创 2018-05-18 00:18:26 · 704 阅读 · 0 评论 -
Hadoop编程学习5--PageRank算法实现
PageRank 网页排名的算法,曾是 Google 发家致富的法宝。用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。PageRank 的设计思路如下:初始化过程: 将原始文档的每个 Page 行末尾加上 1.0 表示的 PageRank 值初始化为 1迭代计算过程:经过 Map 方法处理后,每行存放的数据格式为 page_name \t list_page_name...原创 2018-06-24 20:29:51 · 1486 阅读 · 1 评论 -
Hadoop编程学习6--Kmeans算法实现
机器学习和数据挖掘算法是大数据分析处理领域的重要内容,随着数据规模的不断扩大,设计面向大数据处理的并行化机器学习和数据挖掘算法越来越有必要。 通过对并行化数据挖掘算法的实现,可以掌握并行化处理问题的分析方法和编程思想方法。 聚类算法是一种无监督学习算法,主要用于将相似的样本自动归到一个类别中。在聚类算法中根据样本之间的相似性,将样本划分到不同的类别中。K-Means算法是最常用的一种聚类...原创 2018-06-24 20:41:51 · 1216 阅读 · 0 评论