自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

jiq•钦's technical Blog

学习 -> 记录 -> 分享

  • 博客(18)
  • 收藏
  • 关注

原创 HBase概念学习(八)开发一个类twitter系统之表设计

这边文章先将可能的需求分析一下,设计出HBase表,下一步再开始编写客户端代码。TwiBase系统1、背景为了加深HBase基本概念的学习,参考HBase实战这本书实际动手做了这个例子。2、需求这是一个用户推特系统,用户登陆到系统,需要维护用户的基本信息,然后用户可以发帖和其他用户进行互动。用户之间可以相互关注,用户可以浏览关注用户的推文等等。这是一个比

2014-06-29 23:51:46 3142 2

原创 HBase概念学习(七)HBase与Mapreduce集成

这篇文章是看了HBase权威指南之后,根据上面的讲解搬下来的例子,这篇文章将讲解两个例子,和HBase权威指南稍微有些不一样。1、读取存储在hdfs上的txt文本数据,简单地以json字符串的形式写入到HBase表中。2、将第一步存储的HBase表中的json字符串读取出来,解析存储到新的HBase表中,可以进行查询。本文详细给出了源码以及如何运行,旨在加深HBase与mapreduc

2014-06-28 23:35:57 4732

原创 Hadoop基础学习(一)分析、编写并运行WordCount词频统计程序

前面已经在我的Ubuntu单机上面搭建好了伪分布模式的HBase环境,其中包括了Hadoop的运行环境。详见我的这篇博文:http://blog.csdn.net/jiyiqinlovexx/article/details/29208703我的目的主要是学习HBase,下一步打算学习的是将HBase作为Hadoop作业的输入和输出。但是好像以前在南大上学时学习的Hadoop都忘记得差不

2014-06-24 23:08:01 8531 1

原创 HBase概念学习(六)java API之HTable与HTablePool

在HBase中,HTable封装表格对象,对表格的增删改查操作主要通过它来完成,构造方法如下:        HTable table=new HTable(config,tableName);在构建多个HTable对象时,HBase推荐所有的HTable使用同一个Configuration。这样,HTable之间便可共享HConnection对象、zookeeper信息以及Region地

2014-06-23 23:25:05 4245

原创 HBase概念学习(五)Java API之计数器

本文为阅读《Hbase权威指南》后笔记。1、计数器简介之前在介绍Put和Delete的时候说道过检查并修改(Check and modify),计数器类似,也是为了防止多个客户端的资源竞争导致不一致。如果没有计数器,用户需要针对一行加锁,读取一行的值,然后再加上特定的值,然后再写回并释放锁,尤其是当客户端进程崩溃之后,尚未释放的锁需要等待超时恢复,这样在一个高负载的系统中会引起

2014-06-18 23:10:02 3729

转载 Hadoop MapReduce存在的问题及下一代MapReduce(MRv2/YARN)

背景随着集群规模和负载增加,MapReduce JobTracker在内存消耗,线程模型和扩展性/可靠性/性能方面暴露出了缺点,为此需要对它进行大整修。需求当我们对Hadoop MapReduce框架进行改进时,需要时刻谨记的一个重要原则是用户的需求。近几年来,从Hadoop用户那里总结出MapReduce框架当前最紧迫的需求有:(1)可靠性(Rel

2014-06-17 23:09:54 1767

原创 HBase概念学习(三)Java API之CRUD(增查改删)

注意:Put,Get,Delete三个类都是Row这个类的子类,由此可见这三个类都是代表一行数据,其所有操作都是针对一行数据的操作。 (一) Put、Get、Delete1、PutNew出Put实例,需要行健作为构造器参数,一个Put实例对应一行。可以调用Htable的Put方法执行Put操作,两种执行方式:(1)      执行一个Put操作:每个Put操作都会产生一

2014-06-17 22:52:55 1311

原创 HBase概念学习(四)Java API之扫描和过滤器

HBase基本的CRUD操作就不多介绍了,无非就是Put,Get,Delete三个类的运用。现在看一下扫描技术,这种技术类似于关系型数据库的游标(cursor),并利用到了HBase底层顺序存储的特性。使用扫描的一般步骤是:1、创建Scan实例2、为Scan实例增加扫描的限制条件3、调用HTable的getScanner()方法获取ResultScanner对象4、迭代Resul

2014-06-16 22:25:23 2470

原创 HBase概念学习(二)JAVA API操作概览

首先看一下当前JavaAPI与Hbase数据

2014-06-12 22:31:16 1606

原创 HBase概念学习(一)基本架构

HBase是Apache Hadoop的一个开源的、分布式、面向列族的NOSQL数据库

2014-06-11 23:13:25 1999

转载 HBase 在淘宝的应用和优化

本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。目 录 [ - ]前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划前言hbase是从 hadoop中分离出来的apache顶级开源项目。由

2014-06-07 23:13:54 2658

转载 单机版搭建HBase环境图文教程详解

转自:http://www.linuxidc.com/Linux/2012-10/72959.htm单机版搭建HBase环境图文教程详解1、下载hbase-0.92.1.tar.gz2、sudo tar –zxvf hbase-0.92.1.tar.gz –C/usr/解压压缩包到/usr目录下3、修改hbase-env.sh文件,添

2014-06-07 17:56:46 1487

转载 超详细单机版搭建hadoop环境图文解析

转自:http://weixiaolu.iteye.com/blog/1401931超详细单机版搭建hadoop环境图文解析 前言:年前,在老大的号召下,我们纠集了一帮人搞起了hadoop,并为其取了个响亮的口号“云在手,跟我走”。大家几乎从零开始,中途不知遇到多少问题,但终于在回家之前搭起了一个拥有12台服务器的集群,并用命令行在该集群上运行了一些简单的mapreduce

2014-06-07 17:55:04 1336

原创 HBase环境搭建(一)Ubuntu下基于Hadoop文件系统的单机模式

最近开始准备学习NoSQL数据库,首先

2014-06-07 17:41:39 2392

转载 MongDB应用场景(二) 使用场景和生产部署

老实说,我们不会仅根据数据库的特性做选择,还需要知道使用它的真实成功案例。这里,我提供一些广义上的MongoDB使用场景,以及一些生产环境中的示例 。1. Web应用程序MongoDB很适合作为Web应用程序的主要数据存储。就算是一个简单的Web应用程序也会有很多数据模型,用来管理用户、会话、应用特定的数据、上传和权限,更不用说非常重要的域了。正如它们能和关系型数据库的表列数据配合

2014-06-02 23:55:45 1186

转载 MongDB应用场景(一)视觉中国从MySQL到MongDB

视觉中国的NoSQL之路:从MySQL到MongoDB作者:forchenyun on 星期四, 二月 17, 2011 · 4条评论 【阅读:8,654 次】 注:离qcon beijing 2011不远了,偶然看到qcon上深入浅出NoSQL主题的演讲嘉宾 潘凡,他将在qcon上分享的题目是《MongoDB开发应用实践(PHP/Perl)》,遂在这里分享一下

2014-06-02 23:52:38 1450

原创 云计算领域的一些基本概念

普及一下,云计算(大数据和虚拟化)方面好多概念。。。NOSQL数据库(分布式存储)

2014-06-02 00:39:04 1417

转载 网盘背后的秘密(稍作修改)

最近一段时间,各大网盘容量大战红红火火,网盘的容量也由此达到了TB级。其实网盘产业一直以来都是互联网行业中最烧钱的之一。想想现在各大网盘如果真是给每个人都TB级的容量,这个投入是巨大的,其实也是非常不经济的。那么各大网盘的聪明工程师们是如何从技术上解决BT大容量网盘的发展趋势和实际网盘资金投入控制这一矛盾的呢?下面这篇文章转自Fatesinger博客,相信看完后你会有所了解。 事实

2014-06-01 01:33:25 1274

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除