- 博客(4)
- 收藏
- 关注
RSS订阅原创 Hadoop之谈谈HBase
HBase的Region三层定位第一层：-ROOT- 表包含.META.表所有Region的列表。第二层：.META.表包含用户表的Region的列表。第三层：用户表的Region的信息。HBase读、写流程HBase读写都要经历三层定位去查找对应的Region。RegionServer的写入WAL，然后写入内存MemStore，如果MemStore满了，会被flu
2015-08-10 18:09:04
262
原创 Hadoop之谈谈MapReduce
MapReduce的流程1.Client请求JobTracker，得到分配的JobID。2.JobTracker将作业放入一个作业队列里，根据作业调度器运行作业。文件的划分信息确定总的Map数量。根据主机的数量，内核，内存等信息，确定并行的Map数量。3. Map端suffer将结果传输Reduce端。4.TaskTracker每隔一段时间就会给JobTracker发送一个心跳，报
2015-08-10 16:12:27
376
原创 Hadoop之谈谈HDFS
HDFS是一个分布式文件系统，它类似Linux下 Ext2,3,4一样的文件系统。只是它是分布式文件系统，能够容忍故障且不丢失数据。HDFS是一个流式数据访问模式来存储大文件的，什么是流式？流式一般对应下载，就是可以传输过来一点数据，处理一点数据而不用等全部数据下载完。HDFS是一个设计为高延迟，高吞吐的文件系统。HDFS是namenode，datanode的结构。HDFS的数据块
2015-08-10 11:25:51
390
原创 postgres base目录实践性分析
postgres安装后下面有个base目录，目录下的文件通常是一串数字组成，这串数字是什么呢？他是如何和表对应关联起来的？SQL操作create table test(c int4);select oid,* from pg_class where relname ='test'"oid";"relname";"relnamespace";"reltype";"reloftype"
2015-08-06 16:09:53
1676
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人