hadoop
AimoRose
这个作者很懒,什么都没留下…
展开
-
hadoop基础
1.下面是主要的类层次图2.Writable和WritableComparable的子类们基本大同小异 3.RawComparator和WritableComparator举例如下,以下以text类型的comparator每个字符从高到低位比较,对于数字类型的字符串也是比较适用的/** A WritableComparator optimized for原创 2013-08-19 22:55:14 · 519 阅读 · 0 评论 -
Hbase迎接电信TB级大数据洗礼之热点网站功能实践
在今年年初的时候联通王志军院长就Hadoop在电信行业的大数据应用谈了自己的经验,随着3G网络的发展中国联通目前运营着世界上最大的CDMA网络,流量运营是中国联通一个重要特点。中国联通3G套餐当中流量占比非常非常大,中国联通3G用户流量使用情况也是非常可观的。那么在3G网络功能中上网冲浪占了很大的比例,去研究用户感兴趣的热点网站成为了行为分析中很有特点的一项功能,联通就可以根据这些网站信息推出增值转载 2013-12-03 09:53:24 · 966 阅读 · 0 评论 -
Hadoop之Hbase数据库完全分布模式安装guide
1. 安装环境简介物理笔记本:i5 2.27GHz (4 CPU) 4G内存 320GB硬盘 32位win7 操作系统虚拟机:Product VMware® Workstation Version 7.0.0 build-203739虚拟机安装配置URL:http://ideapad.it168.com/thread-2088751-1-1.html 不会配置的朋友转载 2013-12-03 09:45:16 · 1103 阅读 · 0 评论 -
HBase入门7 -安全&权限
近2年来云计算的话题到目前为止风风火火从来没有平静过,一直是大家嘴边讨论的热门话题,人们期望运用云计算提供可靠、稳定、高速的计算,在云计算中Google是目前最大的云计算供应商,例如:Google GAE(Google App Engine)和Google的Docs在线文章服务,这些SaaS上线产品的数据存储(datastore)是由BigTable提供存储服务的,在次之前我提到过Yahoo贡献给转载 2013-11-29 17:33:02 · 1685 阅读 · 0 评论 -
Hbase入门6 -白话MySQL(RDBMS)与HBase之间
任何一项新技术并非救命稻草,一抹一擦立马药到病除的百宝箱,并非使用Spring或者NOSQL的产品就神乎其神+五光十色,如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的,通过新的技术手段你往往可能避讳了当前你所需要面对的问题,但过后新的问题又来了。也许回过头来看看还不 如在原来的基础上多动动脑筋 想想办法 做些改良可以得到更高的回报。 传统数据库是以数转载 2013-11-29 17:18:12 · 730 阅读 · 0 评论 -
HBase入门5(集群) -压力分载与失效转发
在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构,这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO),做一个小实验讲述HBase在分布式环境中的高可用性,亲眼看到一些现象,延伸一些思考的话题。先来回顾一下HBase主要部件: 1.HBaseMaster 2.HRegionServer 3.HBase Client转载 2013-11-29 17:15:32 · 683 阅读 · 0 评论 -
HBase入门篇
HBase是什么? HBase是Apache Hadoop中的一个子项目,Hbase依托于Hadoop的HDFS作为最基本存储基础单元,通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作,如右侧的图所示:HBase在产品中还包含了Jetty,在HBase启动时采用嵌入式的方式来启动Jetty,因此可转载 2013-11-29 16:54:00 · 704 阅读 · 0 评论 -
Java操作MongoDB NoSQL数据库
一、介绍MongoDB是一个“绿色”免安装直接解压(unzip)即可运行的高性能,开源,无 关系型(NoSQL)的文档型数据库,它在许多场景下可用于替代传统的关系型数据库或键(key)/值(value)存储方式。Mongo使用C++开 发,提供了以下功能: * 面向集合的存储:适合存储对象及JSON形式的数据。 * 动态查询:Mongo支持丰富的查询表达式。查询转载 2013-11-29 17:29:37 · 726 阅读 · 0 评论 -
基于Hbase存储的分布式消息(IM)系统-JABase
前段日子看了在highscalability.com上一篇介绍facebook消息系统的文章,一夜之后被无数个网站无数次的转载,现如今facebook的任何一个话题都会引起很多人的关注,但我对只对这文章里面没有说明的部分比较感兴趣,系统里是怎么获得即时消息的?PHP监听器?开启很多个监听器服务?推模式?拉模式?跟Twitter一样采用消息中间件?对此有了些疑问,期待日后有人能给出明确解答。转载 2013-11-29 17:24:43 · 2445 阅读 · 0 评论 -
Lily-建立在HBase上的分布式搜索
Lily以NoSQL技术为主题,是建立在云计算上的内容仓库(content repository)。它是基于Apache的 HBase(存储)和Solr(索引/搜索),并提供了大型内容集合存储与检索的解决方案。可运用在 门户网站,内容管理系统,及时搜索,档案应用,文案管理,等等。 Lily项目与传统的Lucene框架相比体现了以下几点关键性的优势: ·伸转载 2013-11-29 17:23:09 · 1148 阅读 · 0 评论 -
MySQL向Hive/HBase的迁移工具
Apache Hive是目前大型数据仓库的免费首选产品之一,使用Apache Hive的人是不会期望在小数据量上做什么文章,例如把MySQL中的数据搬到Hive/HBase中去,那样的话原先很快能执行完毕的SQL,估计在Hive上运行跟原来相比时间延长10倍都不止。但如果你有MySQL数据可以把大量的数据向Hive导入,如果上亿条的数据量再加上复杂的SQL查询条件对于MySQL来说是一件比较头疼的转载 2013-11-29 17:19:45 · 696 阅读 · 0 评论 -
HBase入门篇2-Java操作HBase例子
本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成?HBase的内部工作原理是什么?我想学习任何一项知识、技术的态度不能只是知道如何使用,对产品的内部构建一点都不去关心,那样出了问题,很难让你很快的找到答案,甚至我们希望最后能对该项技术的领悟出自己的转载 2013-11-29 16:51:44 · 764 阅读 · 0 评论 -
HBase入门篇4–存储
前几篇文章讲述了 HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧,《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。目前对与HBase我是一个绝对的新手,如果在文章中有任何我理解有错误的地方请各位指正,谢谢。Ok,进行正题 ……… 在HBase中创建的一张表可以分布在多个Hregion,也就说一张表可以被拆分成多块,每一块转载 2013-11-29 17:13:51 · 869 阅读 · 0 评论 -
HBase入门篇3
前两篇文件分别说到了我在学习HBase中的一些入门经验,而《HBase 入门3》这篇文章浅显的从几个方面谈谈HBase的一些优化技巧,只能作为我学习笔记的一部分,因为学多了怕忘,留给自己以后看看。1 修改 linux 系统参数 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整转载 2013-11-29 17:04:14 · 577 阅读 · 0 评论 -
hadoop分布式文件系统的安装与配置
3台机器:master(192.168.0.210),slave1(192.168.0.211),slave2(192.168.0.212) , slave2(192.168.0.213) 系统都为Centos 5 假设将master做为namenonde,将slaver1,slaver2和slaver3做为datanode 1、分别设置的主机名,即修改/etc/sysconfi转载 2013-11-08 11:15:39 · 860 阅读 · 0 评论 -
myeclipse配置hadoop开发环境
1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下。2、 启动myeclipse,打开Perspective:【Window】->【Open Perspective】->【Other...】->【Map/Reduce】-原创 2013-12-16 16:46:28 · 729 阅读 · 0 评论