- 博客(4)
- 收藏
- 关注
RSS订阅原创 hadoop问题汇总
1、mapreduce处理的大文件是在什么地方被分隔为一个一个小文件的？2、hdfs中冗余备份文件在集群节点之间传递的方式？3、mr过程中要做几次排序操作?4、hadoop api中的数据类型有哪些？BooleanWritable 标准布尔型数值ByteWritable 单字节数值DoubleWritable 双字节数值FloatWritable 浮点数IntWri
2015-03-24 17:19:19
395
转载 Hadoop分块原则
Hadoop是怎么分块的http://blog.chinaunix.net/space.php?uid=20602285&do=blog&cuid=2273160 hadoop的分块有两部分，其中第一部分更为人熟知一点。 第一部分就是数据的划分（即把File划分成Block），这个是物理上真真实实的进行了划分，数据文件上传到HDFS里的时候，需要划分成一块一块，每块的大小由
2015-03-24 17:17:28
457
原创 各种字符匹配算法比较
各种字符匹配算法比较：package com.bj58.ranguisheng;/** * 字符匹配算法测试： * 输入是原字符串(String)和子串（又称模式，Pattern)组成，输出为子串在原字符串中的首次出现的位置 * @author Michael Ran * @version 2015年3月19日 下午4:17:16 * */public class KMP
2015-03-19 17:20:20
589
原创 大数据家族
大数据家族涉及哪些东西？hadoop家族：针对文本、社交媒体订阅以及视频等非结构化和半结构化的数据，包括分布是文件系统HDFS(GFS的一个开源实现)，进行大数据处理的MapReduce架构。Nosql数据库：在大数据时代，传统的管系统结构化的数据库技术已经不能满足要求，在索引和高访问量的网站服务，在这些领域，Nosql数据库效率明显更好。内存分析：随着个人消费电子设备以及
2015-03-19 10:00:19
769
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人