- 博客(6)
- 资源 (2)
- 收藏
- 关注
原创 Eclipse 修改字符集
默认情况下 Eclipse 字符集为 GB18030,但现在很多项目采用的是 UTF-8,这是我们就需要设置我们的 Eclipse 开发环境字符集为 UTF-8, 设置步骤如下: 在菜单栏选择 Window -> Preferences -> General -> Workspace -> Text file encoding,在 Text file encoding 中点击 Other,选择 U
2017-06-30 07:56:29 690
原创 Hadoop错误日志
今天运行mapreduce的时候报下面的错误2017-06-15T19:01:01,766 INFO [task-runner-0-priority-0] org.apache.hadoop.mapreduce.Job - Task Id : attempt_1497518752686_0003_r_000001_1, Status : FAILEDContainer [pid=6030,cont
2017-06-19 20:52:59 1455
原创 Java中List集合的遍历
核心 1、Java中list集合遍历的方法有 2、3种方法的实现过程 3、基于这3种方法的测试 第一种: while(it.hasNext()){ String value=(String) it.next(); }这种方式在循环执行过程中会进行数据锁定, 性能稍差, 同时,如果你想在寻欢过程中去掉某个元素,只能调用it.remove方
2017-06-18 21:42:04 1044
原创 BitMap算法的说明以及验证
核心 1、什么是BitMap算法 2、BitMap的优缺点 3、BitMap的实现 4、BitMap 的比对1、什么是BitMap算法 在大数据时代,我们如果将一个上亿的整数文件来做排序或者查询使用,这个就将面临一个问题,内存不够用,例如1亿个整数的文件放入内存将会占用380MB(100000000*4/1024/1024)空间.如果是10亿或者更多呢,这个将对内存是一个巨大的挑战。为了解
2017-06-12 00:51:02 1065 2
转载 HADOOP1.X中HDFS工作原理
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点:保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。运行在廉价的机器上。(商用机)适合大数据的处理。多大?多小?HDFS默认会将文件分割成b
2017-06-08 01:05:42 417
原创 HDFS 原理、架构与特性
核心 1:hadoop1.X的HDFS架构 2:HDFS文件读取的解析 3:HDFS文件写入的解析 4:副本机制 5:HDFS 文件删除恢复机制 6:HDFS缺点 1:hadoop1.X的HDFS架构 HDFS架构 •NameNode •DataNode •Sencondary NameNode 数据存储细节 N
2017-06-08 01:00:18 1095
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人