千年似流水的博客

HBase的发展史2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起，2008年成为Apache Hadoop的一个子项目。现已作为产品在多家企业被使用，如：        WorldLingo        Streamy.com        OpenPlaces        Yahoo!        Adobe        淘宝        ...

在说HBase之前，我想再唠叨几句。做互联网应用的哥们儿应该都清楚，互联网应用这东西，你没办法预测你的系统什么时候会被多少人访问，你面临的用户到底有多少，说不定今天你的用户还少，明天系统用户就变多了，结果您的系统应付不过来了了，不干了，这岂不是咱哥几个的悲哀，说时髦点就叫“杯具啊”。其实说白了，这些就是事先没有认清楚互联网应用什么才是最重要的。从系统架构的角度来说，互联网应用更加看重系统性能以及伸...

hbasetemplate的execute， get， find 方法的使用 package com.changhong.industry.bd.cloudlogservice.service; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hado...

Hadoop 简介 前言： 人产生数据的速度越来越快，机器则更加快，more data usually beats better algorithms，所以需要另外的一种处理数据的方法。 硬盘的容量增加了，但性能没有跟上，解决办法是把数据分到多块硬盘，然后同时读取。但带来一些问题： 硬件问题：复制数据解决（RAID） 分析需要从不同的硬盘读取数据：MapReduce 而Hadoo...

简介 Hadoop Distributed File System，分布式文件系统 架构 Block数据 1、基本存储单位，一般大小为64M（配置大的块主要是因为：1）减少搜寻时间，一般硬盘传输速率比寻道时间要快，大的块可以减少寻道时间；2）减少管理块的数据开销，每个块都需要在NameNode上有对应的记录；3）对数据块进行读写，减少建立网络的连接成本） 2、一个大文件会被拆分成一个...

今天在安装hadoop时，按照要求修改了文件，最后执行了 hadoop namenode -format start-all.sh 执行jps命令 没有发现预期的5个进程 这是主机名有特殊符号导致的，我的主机名中包含了下划线，去掉下划线，重新修改与主机名相关的配制文件，重启一下hadoop，然后jps就看到5个进程了...