- 博客(18)
- 收藏
- 关注
原创 HBase概念学习(八)开发一个类twitter系统之表设计
这边文章先将可能的需求分析一下,设计出HBase表,下一步再开始编写客户端代码。TwiBase系统1、背景为了加深HBase基本概念的学习,参考HBase实战这本书实际动手做了这个例子。2、需求这是一个用户推特系统,用户登陆到系统,需要维护用户的基本信息,然后用户可以发帖和其他用户进行互动。用户之间可以相互关注,用户可以浏览关注用户的推文等等。这是一个比
2014-06-29 23:51:46 3143 2
原创 HBase概念学习(七)HBase与Mapreduce集成
这篇文章是看了HBase权威指南之后,根据上面的讲解搬下来的例子,这篇文章将讲解两个例子,和HBase权威指南稍微有些不一样。1、读取存储在hdfs上的txt文本数据,简单地以json字符串的形式写入到HBase表中。2、将第一步存储的HBase表中的json字符串读取出来,解析存储到新的HBase表中,可以进行查询。本文详细给出了源码以及如何运行,旨在加深HBase与mapreduc
2014-06-28 23:35:57 4732
原创 Hadoop基础学习(一)分析、编写并运行WordCount词频统计程序
前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境,其中包括了Hadoop的运行环境。详见我的这篇博文:http://blog.csdn.net/jiyiqinlovexx/article/details/29208703我的目的主要是学习HBase,下一步打算学习的是将HBase作为Hadoop作业的输入和输出。但是好像以前在南大上学时学习的Hadoop都忘记得差不
2014-06-24 23:08:01 8533 1
原创 HBase概念学习(六)java API之HTable与HTablePool
在HBase中,HTable封装表格对象,对表格的增删改查操作主要通过它来完成,构造方法如下: HTable table=new HTable(config,tableName);在构建多个HTable对象时,HBase推荐所有的HTable使用同一个Configuration。这样,HTable之间便可共享HConnection对象、zookeeper信息以及Region地
2014-06-23 23:25:05 4245
原创 HBase概念学习(五)Java API之计数器
本文为阅读《Hbase权威指南》后笔记。1、计数器简介之前在介绍Put和Delete的时候说道过检查并修改(Check and modify),计数器类似,也是为了防止多个客户端的资源竞争导致不一致。如果没有计数器,用户需要针对一行加锁,读取一行的值,然后再加上特定的值,然后再写回并释放锁,尤其是当客户端进程崩溃之后,尚未释放的锁需要等待超时恢复,这样在一个高负载的系统中会引起
2014-06-18 23:10:02 3731
转载 Hadoop MapReduce存在的问题及下一代MapReduce(MRv2/YARN)
背景随着集群规模和负载增加,MapReduce JobTracker在内存消耗,线程模型和扩展性/可靠性/性能方面暴露出了缺点,为此需要对它进行大整修。需求当我们对Hadoop MapReduce框架进行改进时,需要时刻谨记的一个重要原则是用户的需求。近几年来,从Hadoop用户那里总结出MapReduce框架当前最紧迫的需求有:(1)可靠性(Rel
2014-06-17 23:09:54 1767
原创 HBase概念学习(三)Java API之CRUD(增查改删)
注意:Put,Get,Delete三个类都是Row这个类的子类,由此可见这三个类都是代表一行数据,其所有操作都是针对一行数据的操作。 (一) Put、Get、Delete1、PutNew出Put实例,需要行健作为构造器参数,一个Put实例对应一行。可以调用Htable的Put方法执行Put操作,两种执行方式:(1) 执行一个Put操作:每个Put操作都会产生一
2014-06-17 22:52:55 1312
原创 HBase概念学习(四)Java API之扫描和过滤器
HBase基本的CRUD操作就不多介绍了,无非就是Put,Get,Delete三个类的运用。现在看一下扫描技术,这种技术类似于关系型数据库的游标(cursor),并利用到了HBase底层顺序存储的特性。使用扫描的一般步骤是:1、创建Scan实例2、为Scan实例增加扫描的限制条件3、调用HTable的getScanner()方法获取ResultScanner对象4、迭代Resul
2014-06-16 22:25:23 2470
转载 HBase 在淘宝的应用和优化
本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。目 录 [ - ]前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划前言hbase是从 hadoop中分离出来的apache顶级开源项目。由
2014-06-07 23:13:54 2658
转载 单机版搭建HBase环境图文教程详解
转自:http://www.linuxidc.com/Linux/2012-10/72959.htm单机版搭建HBase环境图文教程详解1、下载hbase-0.92.1.tar.gz2、sudo tar –zxvf hbase-0.92.1.tar.gz –C/usr/解压压缩包到/usr目录下3、修改hbase-env.sh文件,添
2014-06-07 17:56:46 1487
转载 超详细单机版搭建hadoop环境图文解析
转自:http://weixiaolu.iteye.com/blog/1401931超详细单机版搭建hadoop环境图文解析 前言:年前,在老大的号召下,我们纠集了一帮人搞起了hadoop,并为其取了个响亮的口号“云在手,跟我走”。大家几乎从零开始,中途不知遇到多少问题,但终于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce
2014-06-07 17:55:04 1336
转载 MongDB应用场景(二) 使用场景和生产部署
老实说,我们不会仅根据数据库的特性做选择,还需要知道使用它的真实成功案例。这里,我提供一些广义上的MongoDB使用场景,以及一些生产环境中的示例 。1. Web应用程序MongoDB很适合作为Web应用程序的主要数据存储。就算是一个简单的Web应用程序也会有很多数据模型,用来管理用户、会话、应用特定的数据、上传和权限,更不用说非常重要的域了。正如它们能和关系型数据库的表列数据配合
2014-06-02 23:55:45 1187
转载 MongDB应用场景(一)视觉中国从MySQL到MongDB
视觉中国的NoSQL之路:从MySQL到MongoDB作者:forchenyun on 星期四, 二月 17, 2011 · 4条评论 【阅读:8,654 次】 注:离qcon beijing 2011不远了,偶然看到qcon上深入浅出NoSQL主题的演讲嘉宾 潘凡,他将在qcon上分享的题目是《MongoDB开发应用实践(PHP/Perl)》,遂在这里分享一下
2014-06-02 23:52:38 1450
转载 网盘背后的秘密(稍作修改)
最近一段时间,各大网盘容量大战红红火火,网盘的容量也由此达到了TB级。其实网盘产业一直以来都是互联网行业中最烧钱的之一。想想现在各大网盘如果真是给每个人都TB级的容量,这个投入是巨大的,其实也是非常不经济的。那么各大网盘的聪明工程师们是如何从技术上解决BT大容量网盘的发展趋势和实际网盘资金投入控制这一矛盾的呢?下面这篇文章转自Fatesinger博客,相信看完后你会有所了解。 事实
2014-06-01 01:33:25 1274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人