- 博客(6)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Eclipse 修改字符集
默认情况下 Eclipse 字符集为 GB18030，但现在很多项目采用的是 UTF-8，这是我们就需要设置我们的 Eclipse 开发环境字符集为 UTF-8， 设置步骤如下： 在菜单栏选择 Window -> Preferences -> General -> Workspace -> Text file encoding，在 Text file encoding 中点击 Other，选择 U
2017-06-30 07:56:29
690
原创 Hadoop错误日志
今天运行mapreduce的时候报下面的错误2017-06-15T19:01:01,766 INFO [task-runner-0-priority-0] org.apache.hadoop.mapreduce.Job - Task Id : attempt_1497518752686_0003_r_000001_1, Status : FAILEDContainer [pid=6030,cont
2017-06-19 20:52:59
1454
原创 Java中List集合的遍历
核心 1、Java中list集合遍历的方法有 2、3种方法的实现过程 3、基于这3种方法的测试 第一种: while(it.hasNext()){ String value=(String) it.next(); }这种方式在循环执行过程中会进行数据锁定, 性能稍差, 同时,如果你想在寻欢过程中去掉某个元素,只能调用it.remove方
2017-06-18 21:42:04
1043
原创 BitMap算法的说明以及验证
核心 1、什么是BitMap算法 2、BitMap的优缺点 3、BitMap的实现 4、BitMap 的比对1、什么是BitMap算法 在大数据时代，我们如果将一个上亿的整数文件来做排序或者查询使用，这个就将面临一个问题，内存不够用，例如1亿个整数的文件放入内存将会占用380MB(100000000*4/1024/1024)空间.如果是10亿或者更多呢，这个将对内存是一个巨大的挑战。为了解
2017-06-12 00:51:02
1065
2
转载 HADOOP1.X中HDFS工作原理
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点：保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。运行在廉价的机器上。（商用机）适合大数据的处理。多大？多小？HDFS默认会将文件分割成b
2017-06-08 01:05:42
417
原创 HDFS 原理、架构与特性
核心 1：hadoop1.X的HDFS架构 2：HDFS文件读取的解析 3：HDFS文件写入的解析 4：副本机制 5：HDFS 文件删除恢复机制 6：HDFS缺点 1：hadoop1.X的HDFS架构 HDFS架构 •NameNode •DataNode •Sencondary NameNode 数据存储细节 N
2017-06-08 01:00:18
1095
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人