云计算
文章平均质量分 57
爱笑的余尔吖
这个作者很懒,什么都没留下…
展开
-
如何简化从hbase中查询数据
为了兼容以前从关系型数据库中查询数据的接口, 让hbase可以通过sql语句来查询其中的数据.hive有这样的功能, 他支持通过类似sql语句的语法来操作hbase中的数据, 但是速度太慢了, 因为hive本身就不是用来查询数据的, hive是数据仓库, 做数据分析的, 不适合我们的应用场景.hbase本身提供的api中, 只有scan是用来查询数据的, 因此我们需要将sql语句转转载 2014-02-28 09:27:43 · 2348 阅读 · 0 评论 -
NOSQL数据库读书笔记(具体使用与性能)
本文的观点根据佐佐木达也著、罗勇译的《NoSQL数据库入门》一书提取并整理。一、memcached原创 2014-09-14 17:08:08 · 623 阅读 · 0 评论 -
NOSQL数据库读书笔记(种类与特征)
本文的观点根据佐佐木达也著、罗勇译的《NoSQL数据库入门》一书提取并整理。原创 2014-09-14 16:24:54 · 730 阅读 · 0 评论 -
NOSQL数据库读书笔记(基础知识)
本文的观点根据佐佐木达也著、罗勇yi《》原创 2014-09-14 10:51:14 · 809 阅读 · 0 评论 -
hadoop学习之hadoop完全分布式集群安装
本文出自来自:http://blog.csdn.net/ab198604/article/details/8250461转载 2014-04-22 08:52:07 · 453 阅读 · 0 评论 -
Hadoop编程之MapReduce操作Mysql数据库
1,首先建立mysql的数据库,表:如下图下面是MapReduce编程了,需要导入mysql数据库驱动jar包;首先需要自定义Recoder,这里是CourceRecordpublic class CourceRecord implements Writable, DBWritable { int id; String name;转载 2014-02-28 09:46:37 · 621 阅读 · 0 评论 -
MapReduce,DataJoin,多表连接查询
主要介绍用DataJoin类来链接多数据源,先看一下例子,假设二个数据源customs和orderscustomer ID Name PhomeNumber1 赵一 025-5455-5662 钱二 025-4587-5653转载 2014-02-28 09:36:36 · 1407 阅读 · 0 评论 -
【HBase】提升HBase写性能
本文主要介绍软件层面的性能调优。故,在此之前,请检查硬件状况。硬盘推荐SSD,一般SATA即可。网络千兆以上。可以安装Ganglia等工具,检查各节点的各硬件的运作状态:CPU,Memo,网络等等。 调整参数入门级的调优可以从调整参数开始。投入小,回报快。 1. Write Buffer Size快速配置Java代码转载 2014-02-28 11:18:05 · 631 阅读 · 0 评论 -
【HBase】Rowkey设计
本章将深入介绍由HBase的存储架构在设计上带来的影响。如何设计表、row key、column等等,尽可能地使用到HBase存储上的优势。Key设计HBase有两个基础的主键结构:row key和column key。它们分别用来表征存储的数据和数据的排序顺序。以下的几节将讨论如何通过key设计解决存储设计中发现的一些问题。概念相比于物理存储,首先谈谈表的逻辑结构转载 2014-02-28 11:16:34 · 709 阅读 · 0 评论 -
MapReduce操作HBase
运行HBase时常会遇到个错误,我就有这样的经历。 ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.Clie转载 2014-02-28 09:40:44 · 513 阅读 · 0 评论 -
Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询
1、搭建环境 新建JAVA项目,添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 Java代码 package com.wujintao.hbas转载 2014-02-28 09:29:38 · 458 阅读 · 0 评论 -
Hadoop,MapReduce操作Mysql
前以前帖子介绍,怎样读取文本数据源和多个数据源的合并:http://www.cnblogs.com/liqizhou/archive/2012/05/15/2501835.html这一个博客介绍一下MapReduce怎样读取关系数据库的数据,选择的关系数据库为MySql,因为它是开源的软件,所以大家用的比较多。以前上学的时候就没有用过开源的软件,直接用盗版,也相当与免费,且比开源好用,转载 2014-02-28 09:37:45 · 578 阅读 · 0 评论 -
寻找热门查询:搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。
寻找热门查询:搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。 假设目前有一千万个记录(这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。一个查询串的重复度越高,说明查询它的用户越多,也就是越热门),请你统计最热门的10个查询串,要求使用的内存不能超过1G。 虽然有一千万个Query,但是转载 2014-09-25 17:04:02 · 2014 阅读 · 0 评论