
Hadoop
21aspnet
专注csdn15年,Java JCP会员,公众号:无界编程
-
原创 Hadoop简要介绍
本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很多文章,对学习Hadoop中遇到的问题进行了归纳总结。 言归正传,先说一下Hadoop的来龙去脉。谈到Hadoop就不得不提到Lucene和Nutch。首先,Lucene并不是一个应用2011-06-29 17:13:002220
0
-
原创 Hadoop源代码分析
一个典型的HDFS系统包括一个NameNode和多个DataNode。NameNode维护名字空间;而DataNode存储数据块。DataNode负责存储数据,一个数据块在多个DataNode中有备份;而一个DataNode对于一个块最多只包含一个备份。所以我们可以简单地认为2011-07-19 15:33:582550
0
-
原创 分布式计算开源框架Hadoop入门实践
在SIP项目设计的过程中,对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计,在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单,所以就采用Memcache作为计数2011-07-20 18:10:212493
0
-
原创 Linux环境HBase安装与使用
原文出自本人的Linux博客:http://blog.csdn.net/unix21/article/details/18776073Linux环境:CentOS6.5HBase版本:hbase-0.94.16HBase官网:http://hbase.apache.org1.下载解压安装文件# wget http://mirror.bit.edu.cn/apache/hbase/stable/2014-01-25 21:54:5132743
1
-
原创 ZooKeeper集群环境安装与配置
ZooKeeper版本:3.4.5约定:3台虚拟机前提:需要安装JDK,关于Linux环境JDK安装配置参考我的另一帖Linux环境安装卸载JDK以及安装Tomcat和发布Java的web程序ZooKeeper官网:http://zookeeper.apache.org/1.下载解压# wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeep2014-02-08 17:54:0011361
1