hadoop学习
文章平均质量分 82
star_fxx
做一个有情怀和节操的程序员。
展开
-
zookeeper安装及配置
这是hadoop,hbase,zookeeper,nutch,solr搭建中zookeeper部分的安装简介。原创 2015-01-19 00:50:40 · 1311 阅读 · 0 评论 -
Hadoop安装及配置
最近和实验室的朋友尝试着在几台虚拟机上搭了搭Hadoop,期间遇到很多问题,百度上很多答案要么是表意不清,要么是版本太老,坑得我们走了很多弯路。其实只要理解了相应的配置文件和操作,还是很简单的,一个下午安装hadoop,hbase,zookeeper,nutch问题不大。才接触hadoop不久,有需要改进的地方希望朋友们给指出来,谢啦。我是根据虾皮工作室的这篇文章来安装的:点击打开链接原创 2015-01-18 22:41:52 · 530 阅读 · 0 评论 -
spanner与bigtable
今天看了一下关于spanner的文档,google都说它是下一代Bigtable,也是Megastore的继承者了,总得看下是个什么样的玩意儿。资料有限,以后看到了再更新。今天的整理如下:关于bigtable:google-bigtableBigtable存在的主要问题:1. 分布式事务:每个事务都应该遵循事务的ACID原则,但是big table无法支持,它只能执行单行事原创 2015-01-20 02:19:49 · 2327 阅读 · 0 评论 -
hbase安装及配置
这是hadoop,zookeeper,hbase,nutch安装的hbase部分。原创 2015-01-19 23:02:47 · 525 阅读 · 0 评论 -
以wordcount为例详解shuffle过程
自己整理了一下关于shuffle过程的思路。原创 2015-01-22 10:53:44 · 1280 阅读 · 0 评论 -
HDFS和MapReduce核心思想
初学hadoop,这里整理了一下其核心思想HDFS,MapReduce的主要流程,我觉得,只有对其数据流及任务执行熟悉之后,才能对整个框架的运行有进一步的了解。原创 2015-01-22 00:31:38 · 2883 阅读 · 0 评论