2013年11月_AimoRose

转载 Google Analytics(谷歌分析) 架构与原理

Google Analytics(Google分析)是Google的一款免费的网站分析服务，Google Analytics最早是由一些工程师设计的，后来被Google收购，现在被广受好评。对于Google Analytics的用户目前在国内的用户已经数以万计，本站 www.javabloger.com也使用Google Analytics工具对网站的访问趋势进行分析。Google Analyt

2013-11-29 17:35:28 2297

转载 HBase入门7 -安全&权限

近2年来云计算的话题到目前为止风风火火从来没有平静过，一直是大家嘴边讨论的热门话题，人们期望运用云计算提供可靠、稳定、高速的计算，在云计算中Google是目前最大的云计算供应商，例如：Google GAE(Google App Engine)和Google的Docs在线文章服务，这些SaaS上线产品的数据存储(datastore)是由BigTable提供存储服务的，在次之前我提到过Yahoo贡献给

2013-11-29 17:33:02 1648

转载 Java操作MongoDB NoSQL数据库

一、介绍MongoDB是一个“绿色”免安装直接解压(unzip)即可运行的高性能，开源，无关系型(NoSQL)的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键(key)/值(value)存储方式。Mongo使用C++开发，提供了以下功能： * 面向集合的存储：适合存储对象及JSON形式的数据。 * 动态查询：Mongo支持丰富的查询表达式。查询

2013-11-29 17:29:37 716

转载基于Hbase存储的分布式消息(IM)系统-JABase

前段日子看了在highscalability.com上一篇介绍facebook消息系统的文章，一夜之后被无数个网站无数次的转载，现如今facebook的任何一个话题都会引起很多人的关注，但我对只对这文章里面没有说明的部分比较感兴趣，系统里是怎么获得即时消息的？PHP监听器？开启很多个监听器服务？推模式？拉模式？跟Twitter一样采用消息中间件？对此有了些疑问，期待日后有人能给出明确解答。

2013-11-29 17:24:43 2416

转载 Lily-建立在HBase上的分布式搜索

Lily以NoSQL技术为主题，是建立在云计算上的内容仓库(content repository)。它是基于Apache的 HBase(存储)和Solr(索引/搜索)，并提供了大型内容集合存储与检索的解决方案。可运用在门户网站，内容管理系统，及时搜索，档案应用，文案管理，等等。 Lily项目与传统的Lucene框架相比体现了以下几点关键性的优势： ·伸

2013-11-29 17:23:09 1134

转载 MySQL向Hive/HBase的迁移工具

Apache Hive是目前大型数据仓库的免费首选产品之一，使用Apache Hive的人是不会期望在小数据量上做什么文章，例如把MySQL中的数据搬到Hive/HBase中去，那样的话原先很快能执行完毕的SQL，估计在Hive上运行跟原来相比时间延长10倍都不止。但如果你有MySQL数据可以把大量的数据向Hive导入，如果上亿条的数据量再加上复杂的SQL查询条件对于MySQL来说是一件比较头疼的

2013-11-29 17:19:45 685

转载 Hbase入门6 -白话MySQL(RDBMS)与HBase之间

任何一项新技术并非救命稻草，一抹一擦立马药到病除的百宝箱，并非使用Spring或者NOSQL的产品就神乎其神+五光十色，如果那样基本是扯淡。同类型产品中不管那种技术最终要达到的目的是一样的，通过新的技术手段你往往可能避讳了当前你所需要面对的问题，但过后新的问题又来了。也许回过头来看看还不如在原来的基础上多动动脑筋想想办法做些改良可以得到更高的回报。传统数据库是以数

2013-11-29 17:18:12 723

转载 HBase入门5(集群) -压力分载与失效转发

在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构，这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO)，做一个小实验讲述HBase在分布式环境中的高可用性，亲眼看到一些现象，延伸一些思考的话题。先来回顾一下HBase主要部件： 1.HBaseMaster 2.HRegionServer 3.HBase Client

2013-11-29 17:15:32 674

转载 HBase入门篇4–存储

前几篇文章讲述了 HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧，《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。目前对与HBase我是一个绝对的新手，如果在文章中有任何我理解有错误的地方请各位指正，谢谢。Ok，进行正题 ……… 在HBase中创建的一张表可以分布在多个Hregion，也就说一张表可以被拆分成多块，每一块

2013-11-29 17:13:51 854

转载 HBase入门篇3

前两篇文件分别说到了我在学习HBase中的一些入门经验，而《HBase 入门3》这篇文章浅显的从几个方面谈谈HBase的一些优化技巧，只能作为我学习笔记的一部分，因为学多了怕忘，留给自己以后看看。1 修改 linux 系统参数 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误，导致整

2013-11-29 17:04:14 565

转载 HBase入门篇

HBase是什么？ HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来启动Jetty，因此可

2013-11-29 16:54:00 696

转载 HBase入门篇2-Java操作HBase例子

本篇文章讲述用HBase Shell命令和 HBase Java API 对HBase 服务器进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成？HBase的内部工作原理是什么？我想学习任何一项知识、技术的态度不能只是知道如何使用，对产品的内部构建一点都不去关心，那样出了问题，很难让你很快的找到答案，甚至我们希望最后能对该项技术的领悟出自己的

2013-11-29 16:51:44 753

转载 hadoop分布式文件系统的安装与配置

3台机器:master(192.168.0.210),slave1(192.168.0.211),slave2(192.168.0.212) , slave2(192.168.0.213) 系统都为Centos 5 假设将master做为namenonde,将slaver1,slaver2和slaver3做为datanode 1、分别设置的主机名，即修改/etc/sysconfi

2013-11-08 11:15:39 845

向着梦想飞翔