- 博客(18)
- 收藏
- 关注
RSS订阅原创 HBase概念学习（八）开发一个类twitter系统之表设计
这边文章先将可能的需求分析一下，设计出HBase表，下一步再开始编写客户端代码。TwiBase系统1、背景为了加深HBase基本概念的学习，参考HBase实战这本书实际动手做了这个例子。2、需求这是一个用户推特系统，用户登陆到系统，需要维护用户的基本信息，然后用户可以发帖和其他用户进行互动。用户之间可以相互关注，用户可以浏览关注用户的推文等等。这是一个比
2014-06-29 23:51:46
3142
2
原创 HBase概念学习（七）HBase与Mapreduce集成
这篇文章是看了HBase权威指南之后，根据上面的讲解搬下来的例子，这篇文章将讲解两个例子，和HBase权威指南稍微有些不一样。1、读取存储在hdfs上的txt文本数据，简单地以json字符串的形式写入到HBase表中。2、将第一步存储的HBase表中的json字符串读取出来，解析存储到新的HBase表中，可以进行查询。本文详细给出了源码以及如何运行，旨在加深HBase与mapreduc
2014-06-28 23:35:57
4732
原创 Hadoop基础学习（一）分析、编写并运行WordCount词频统计程序
前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境，其中包括了Hadoop的运行环境。详见我的这篇博文：http://blog.csdn.net/jiyiqinlovexx/article/details/29208703我的目的主要是学习HBase，下一步打算学习的是将HBase作为Hadoop作业的输入和输出。但是好像以前在南大上学时学习的Hadoop都忘记得差不
2014-06-24 23:08:01
8531
1
原创 HBase概念学习（六）java API之HTable与HTablePool
在HBase中，HTable封装表格对象，对表格的增删改查操作主要通过它来完成，构造方法如下： HTable table=new HTable(config,tableName);在构建多个HTable对象时，HBase推荐所有的HTable使用同一个Configuration。这样，HTable之间便可共享HConnection对象、zookeeper信息以及Region地
2014-06-23 23:25:05
4245
原创 HBase概念学习（五）Java API之计数器
本文为阅读《Hbase权威指南》后笔记。1、计数器简介之前在介绍Put和Delete的时候说道过检查并修改（Check and modify），计数器类似，也是为了防止多个客户端的资源竞争导致不一致。如果没有计数器，用户需要针对一行加锁，读取一行的值，然后再加上特定的值，然后再写回并释放锁，尤其是当客户端进程崩溃之后，尚未释放的锁需要等待超时恢复，这样在一个高负载的系统中会引起
2014-06-18 23:10:02
3729
转载 Hadoop MapReduce存在的问题及下一代MapReduce(MRv2/YARN)
背景随着集群规模和负载增加，MapReduce JobTracker在内存消耗，线程模型和扩展性/可靠性/性能方面暴露出了缺点，为此需要对它进行大整修。需求当我们对Hadoop MapReduce框架进行改进时，需要时刻谨记的一个重要原则是用户的需求。近几年来，从Hadoop用户那里总结出MapReduce框架当前最紧迫的需求有：（1）可靠性（Rel
2014-06-17 23:09:54
1767
原创 HBase概念学习（三）Java API之CRUD（增查改删）
注意：Put，Get，Delete三个类都是Row这个类的子类，由此可见这三个类都是代表一行数据，其所有操作都是针对一行数据的操作。 （一） Put、Get、Delete1、PutNew出Put实例，需要行健作为构造器参数，一个Put实例对应一行。可以调用Htable的Put方法执行Put操作，两种执行方式：（1） 执行一个Put操作：每个Put操作都会产生一
2014-06-17 22:52:55
1311
原创 HBase概念学习（四）Java API之扫描和过滤器
HBase基本的CRUD操作就不多介绍了，无非就是Put，Get，Delete三个类的运用。现在看一下扫描技术，这种技术类似于关系型数据库的游标（cursor），并利用到了HBase底层顺序存储的特性。使用扫描的一般步骤是：1、创建Scan实例2、为Scan实例增加扫描的限制条件3、调用HTable的getScanner()方法获取ResultScanner对象4、迭代Resul
2014-06-16 22:25:23
2470
转载 HBase 在淘宝的应用和优化
本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家。目 录 [ - ]前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划前言hbase是从 hadoop中分离出来的apache顶级开源项目。由
2014-06-07 23:13:54
2658
转载 单机版搭建HBase环境图文教程详解
转自：http://www.linuxidc.com/Linux/2012-10/72959.htm单机版搭建HBase环境图文教程详解1、下载hbase-0.92.1.tar.gz2、sudo tar –zxvf hbase-0.92.1.tar.gz –C/usr/解压压缩包到/usr目录下3、修改hbase-env.sh文件，添
2014-06-07 17:56:46
1487
转载 超详细单机版搭建hadoop环境图文解析
转自：http://weixiaolu.iteye.com/blog/1401931超详细单机版搭建hadoop环境图文解析 前言：年前，在老大的号召下，我们纠集了一帮人搞起了hadoop，并为其取了个响亮的口号“云在手，跟我走”。大家几乎从零开始，中途不知遇到多少问题，但终于在回家之前搭起了一个拥有12台服务器的集群，并用命令行在该集群上运行了一些简单的mapreduce
2014-06-07 17:55:04
1336
转载 MongDB应用场景（二） 使用场景和生产部署
老实说，我们不会仅根据数据库的特性做选择，还需要知道使用它的真实成功案例。这里，我提供一些广义上的MongoDB使用场景，以及一些生产环境中的示例 。1. Web应用程序MongoDB很适合作为Web应用程序的主要数据存储。就算是一个简单的Web应用程序也会有很多数据模型，用来管理用户、会话、应用特定的数据、上传和权限，更不用说非常重要的域了。正如它们能和关系型数据库的表列数据配合
2014-06-02 23:55:45
1186
转载 MongDB应用场景（一）视觉中国从MySQL到MongDB
视觉中国的NoSQL之路：从MySQL到MongoDB作者：forchenyun on 星期四, 二月 17, 2011 · 4条评论 【阅读：8,654 次】 注：离qcon beijing 2011不远了，偶然看到qcon上深入浅出NoSQL主题的演讲嘉宾 潘凡，他将在qcon上分享的题目是《MongoDB开发应用实践（PHP/Perl)》，遂在这里分享一下
2014-06-02 23:52:38
1450
转载 网盘背后的秘密（稍作修改）
最近一段时间，各大网盘容量大战红红火火，网盘的容量也由此达到了TB级。其实网盘产业一直以来都是互联网行业中最烧钱的之一。想想现在各大网盘如果真是给每个人都TB级的容量，这个投入是巨大的，其实也是非常不经济的。那么各大网盘的聪明工程师们是如何从技术上解决BT大容量网盘的发展趋势和实际网盘资金投入控制这一矛盾的呢?下面这篇文章转自Fatesinger博客，相信看完后你会有所了解。 事实
2014-06-01 01:33:25
1274
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人