Hadoop
一只鸟的天空
一个偏执狂,一个强迫症患者.....
微博地址: http://weibo.com/1765411302
欢迎数据挖掘与机器学习从业者一起交流
展开
-
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
本文转自:http://blog.csdn.net/xjavasunjava/article/details/12013677一、引言Hadop是一种分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。hadoop1.2.1版本下载地址:http://apache.dataguru.cn/hadoop/转载 2013-11-28 19:03:09 · 1305 阅读 · 0 评论 -
Paxos在大型系统中常见的应用场景
来源: http://timyang.net/distributed/paxos-scenarios/在分布式算法领域,有个非常重要的算法叫Paxos, 它的重要性有多高呢,Google的Chubby [1]中提到all working protocols for asynchronous consensus we have so far encountered have转载 2014-05-13 19:28:27 · 4928 阅读 · 0 评论 -
MapReduce生成HFile文件,再使用BulkLoad导入HBase中(完全分布式运行)
声明: 若要转载, 请标明出处.前提: 在对于大量的数据导入到HBase中, 如果一条一条进行插入, 则太耗时了, 所以可以先采用MapReduce生成HFile文件, 然后使用BulkLoad导入HBase中. 引用:一、这种方式有很多的优点:1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk原创 2014-05-09 21:16:16 · 27722 阅读 · 8 评论 -
Hadoop与HBase中遇到的问题
1. Hadoop中遇到的问题以前所遇到的问题由于没有记录,所以忘了 (1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点原创 2014-05-09 23:01:20 · 24970 阅读 · 6 评论 -
Hadoop配置文件与HBase配置文件
本Hadoop与HBase集群有1台NameNode, 7台DataNode1. /etc/hostname文件 NameNode: node1DataNode 1: node2DataNode 2: node3.......DataNode 7: node82. /etc/hosts文件N原创 2014-05-09 21:55:02 · 8258 阅读 · 0 评论 -
Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询
Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询博客分类:SQL/NOSQL 1、搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有转载 2014-04-08 13:02:31 · 1341 阅读 · 0 评论 -
Hbase Java API详解
转载:http://www.open-open.com/lib/view/open1342514370807.htmlHBase是Hadoop的数据库,能够对大数据提供随机、实时读写访问。他是开源的,分布式的,多版本的,面向列的,存储模型。在讲解的时候我首先给大家讲解一下HBase的整体结构,如下图:HBase Master是服务器负责管理所有的HRegion服务器,HBase M转载 2014-04-08 13:00:28 · 1033 阅读 · 0 评论 -
hadoop在ubuntu下的伪分布式安装配置
本文转自:http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用virtualbox安装的,没错,是在虚拟机上在安装虚拟机,然后安装ubuntu具体安装过程就不描述了,不过安装过程确实慢,除非你的网络很快。12.04的新主题使用真是转载 2013-11-28 19:07:05 · 1297 阅读 · 0 评论 -
Ubuntu 12.04 配置hadoop完全分布式
一、引言Hadoop是一种分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。Hadoop 1.2.1版本下载地址:http://apache.dataguru.cn/hadoop/common/hadoop-1.2.1/二、准备安装环境我的本机是环境是windows8.1系统 +VMvare9虚拟机。转载 2014-01-23 15:16:49 · 945 阅读 · 0 评论 -
Hadoop与HBase中遇到的问题(续)java.io.IOException: Non-increasing Bloom keys异常
在使用Bulkload向HBase导入数据中, 自己编写Map与使用KeyValueSortReducer生成HFile时, 出现了下面的异常: java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 20131119510000000000000001原创 2014-05-30 09:32:04 · 5272 阅读 · 0 评论