![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 76
光怪陆离_wt
这个作者很懒,什么都没留下…
展开
-
大数据处理-Bitmap
MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)" Bit-map空间压缩和快速排序去重 1. Bit-map的基本思想 32位机器上,对于一个整型数,比如int a=1 在内存中占32bit位,这是为了方便计算机的运算。但是对于某些应用场景而言,这属于一种巨大的浪费,因为我们可以用对应的32bit位对应存储十进制的...转载 2018-10-11 11:29:19 · 114 阅读 · 0 评论 -
MapReduce设计模式总结
概要模式 数值概要 目的:基于某个键将记录分组,并将每个分组做一系列的聚合值,从而得到较大数据集的高层次试图 适用场景: 要处理的数据是数值数据或者计数 数据可以按照某些特定的字段分组 已知应用: 单词计数 记录计数 最大值/最小值/计数 平均值/中位数/标准差 倒排索引概要 目的:产生一个数据集的索引以提供更快的搜索或数据丰富能力 适用场景:通常用在需要快速搜索...原创 2018-09-25 17:02:28 · 1740 阅读 · 0 评论 -
Hadoop配置文件(初始)
配置:hadoop-env.sh export JAVA_HOME=/opt/module/jdk1.8.0_144 ********************************************************************** 配置:core-site.xml <!-- 指定HDFS中NameNode的地址 --> <property> ...原创 2018-11-05 23:05:40 · 345 阅读 · 0 评论