alexxiyang-CSDN博客

垃圾回收优化master基本不会遇到垃圾回收的问题。由于memstore的刷写机制是不连续的，所以java虚拟机的堆内存会出现孔洞。快速刷写到磁盘的数据会被划分到新生代，这种空间会被优先回收数据停留的时间太长，会被划分到老生代甚至终生代。而且老生代和终生代一般占据了好几个G，而新生代一般就几百M而已新生代空间由此得出新生代的空间一般的分配如下-XX:MaxNewSize=128m -XX:NewS

2015-11-05 23:46:40 2622 1

原创《HBase权威指南》读书笔记10:第十章集群监控

监控框架HBase使用Hadoop的监控框架，基于MetricsContext接口来处理监控数据点的生成

2015-10-31 23:25:40 2368

原创《HBase权威指南》读书笔记9:第九章高级用法

行键设计高表与宽表高表：表中列少行多宽表：表中列多行少Hbase只能按行分片，因此高表更有优势。把需要检索的条件尽量放到行键rowkey里面去宽表适合需要行级原子性的需求辅助索引由客户端管理索引：缺点比优点更多带索引的事务型Hbase: ITHbase (个人认为要远离在原本就不成熟的HBase上的更不成熟的封装)带索引的Hbase: IHbase (个人认为要远离在原本就不成熟的HBase上的

2015-10-28 17:38:08 1719 1

原创《HBase权威指南》读书笔记8:第八章架构

8.1 数据查找和传输B+树：B+树比B树的改进为叶子节点也是顺序排放的LSM(log-structured merge-tree)树存储系统概述

2015-10-26 00:48:34 2404 2

原创《HBase权威指南》读书笔记7:第七章与MapReduce 集成

框架MapReduce 被设计成在可扩展方式下解决超过TB级数据处理过程中的问题。应当有一种方法可以建立一个性能随机器数增加而线性提升的系统，这就是mapreduce努力做到的。

2015-10-23 16:24:52 1565

原创《HBase权威指南》读书笔记6:第六章可用客户端

REST, Thrift, 和 AvroREST 和 SOAP都会带来巨大的网络开销，于是很多公司开发自己的RPC层google 开发了 Protocol Buffer 不过由于最初的实现并没有发布facebook 开发了一套类似的叫 ThriftHadoop 开发了Apache Avro其他客户端JRuby : Hbase shellHBql: 在HBase 基础上提供了SQL语法访问HBas

2015-10-23 00:41:18 1978

原创《HBase权威指南》读书笔记5:第五章客户端API: 管理功能

类似传统数据库中的DDL 和 DML模式定义表表描述符 HTableDescriptorWritable 和无参数的构造函数大部分类都有一个无参数的构造函数，这些类都实现了Hadoop 的 Writable接口。任意不相交系统间的远程通信：例如客户端与服务端或者服务端之间彼此通信，都使用了Hadoop RPC框架。框架中需要远程方法的参数都实现 Writable接口，进而能够序列化对象并进行传输。

2015-10-23 00:11:47 1912

原创《HBase权威指南》读书笔记4

第四章客户端API:高级特性4.1过滤器所有过滤器都在服务器端生效，叫谓词下推（predicate push down）继承自compareFilter的Filter比较特殊，多了一个 compare() 方法HBase内置比较器comparator比较器描述BinaryComparator使用Bytes.compareTo() 比较当前值与阀值BinaryPrefixComparator与上

2015-10-22 22:50:02 2817

原创《HBase权威指南》读书笔记3

第3章客户端API：基础知识所有修改都保证了行级别的原子性：要么读到最新的修改，要么等待系统允许写入改行修改用户要尽量使用批处理(batch)

2015-10-21 01:19:12 2095 1

翻译 Redis 集群教程

翻译自官方文档 Redis cluster tutorialRedis 集群教程该文档是一篇关于redis集群的教程。该教程并不会让你去理解复杂分布式系统概念，只会告诉你如何安装、测试和操作一个集群。在这个过程中该文档只会从用户角度去描述系统的行为，并不会详细的探究Redis集群手册中的内容。该教程会努力的从最终用户的视角出发，来介绍Redis集群的可用性和一致性这些特性。不过请放心，我们会用一

2015-10-18 10:14:38 13865

原创《HBase权威指南》读书笔记2

2.1快速启动指南hbase-site.xml 里面的 hbase.rootdir 记得要修改否则默认是在 /tmp/hbase-${user.name} 下，如果服务器重启数据就有可能会丢失

2015-10-16 16:45:46 1606

原创《HBase权威指南》读书笔记1

1.4 HBase结构1.4.2 HBase 的表、列和单元格基本单位是column多column组成row一个row有唯一rowkey每个column有多个版本，多个版本存储在单元格（cell）中行序是按照字典顺序进行排序的，意思是从左到右一次对比每一个键关于排序：排列顺序如果跟预期的不一样，需要补键，比如 row-1 永远小于 row-2，无论后面是什么，将始终按照这个顺序排列思考这有可能影

2015-10-14 17:13:38 2675 1

转载 [HBase] LSM树 VS B+树

原帖地址： http://blog.csdn.net/dbanote/article/details/8897599LSM树是HBase里非常有创意的一种数据结构，它和传统的B+树不太一样，下面先说说B+树。1 B+树相信大家对B+树已经非常的熟悉，比如Oracle的普通索引就是采用B+树的方式，下面是一个B+树的例子：根节点和枝节点很简单，分别记录每个叶子节点的最小值，并用一个指针指向叶子节点。

2015-10-14 15:30:36 1139

原创 htc one x 紧急充电脚本，解决无法充电，变砖，电量过低等问题

今天htc one x 用了刷机精灵后刷机失败，然后手机不断重启到我发现的时候电量已经过低到无法刷入 RUU ( 低于30%) 并且刷机精灵还给我刷了一个他们自己的 recovery 这个recovery 是无法关机充电了，这下one x 的电量只能更低了我想重刷一个可以关机充电的 recovery 但是发现电量比能刷recovery 的还低 (低于10%) ，这下连关机充电的 recovery

2015-10-09 23:01:54 5789

转载深入理解HBase Memstore

MemStore是HBase非常重要的组成部分，深入理解MemStore的运行机制、工作原理、相关配置，对HBase集群管理以及性能调优有非常重要的帮助。HBase Memstore首先通过简单介绍HBase的读写过程来理解一下MemStore到底是什么，在何处发挥作用，如何使用到以及为什么要用MemStore。图一：Memstore Usage in HBase Read/Write Paths

2015-09-16 14:59:42 920

转载 HBase深入分析之RegionServer

原文链接 http://www.binospace.com/index.php/hbase-in-depth-analysis-of-the-regionserver/?utm_source=tuicoolHBase深入分析之RegionServer所有的用户数据以及元数据的请求，在经过Region的定位，最终会落在RegionServer上，并由RegionServer实现数据的读写操作。本小节

2015-09-16 14:55:42 2318

转载对提高HBase写性能的一些思考

以下为使用hbase一段时间的三个思考，由于在内存充足的情况下hbase能提供比较满意的读性能，因此写性能是思考的重点。希望读者提出不同意见讨论1 autoflush=false的影响无论是官方还是很多blog都提倡为了提高hbase的写入速度而在应用代码中设置autoflush=false，然后lz认为在在线应用中应该谨慎进行该设置。原因如下： a autoflush=false的

2015-09-16 14:52:23 1167

原创如何有效的清理yum缓存

两条命令 yum clean all 以及 rm -rf /var/cache/yum/*

2015-07-09 10:45:12 26834

原创网站迁移到空白windows2008机器配置apache+php+mysql笔录

今天搬了服务器，系统重装了，面对着空白的服务器，我现在的感觉跟一年前一样，准备开始google教程安装，但是我又想，不能老是这样，于是决定写一篇笔录，以后可以做参考

2015-03-31 10:40:15 1393 1

原创 Alex 的 Hadoop 菜鸟教程: 第21课不只是在HBase中用SQL：Phoenix

什么是Phoenix？ Phoenix的团队用了一句话概括Phoenix："We put the SQL back in NoSQL" 意思是：我们把SQL又放回NoSQL去了！这边说的NoSQL专指HBase，意思是可以用SQL语句来查询Hbase，你可能会说：“Hive和Impala也可以啊！”。但是Hive和Impala还可以查询文本文件，Phoenix的特点就是，它只能查Hbase，别的类型都不支持！但是也因为这种专一的态度，让Phoenix在Hbase上查询的性能超过了Hive和Impala！

2015-03-06 10:37:26 9835 6

原创 Alex 的 Hadoop 菜鸟教程: 第20课工作流引擎 Oozie

简单的说Oozie是一个工作流引擎。只不过它是一个基于Hadoop的工作流引擎，在实际工作中，遇到对数据进行一连串的操作的时候很实用，不需要自己写一些处理代码了，只需要定义好各个action，然后把他们串在一个工作流里面就可以自动执行了。对于大数据的分析工作非常有用。本教程说明了oozie的概念、安装和使用，通过一个例子来让大家感性的认识oozie工作流

2015-03-04 15:30:46 22049 2

原创 Alex 的 Hadoop 菜鸟教程: 第19课华丽的控制台 HUE 安装以及使用教程

Hadoop也有web管理控制台，而且还很华丽，它的名字叫HUE。通过HUE可以管理Hadoop常见的组件。下面用一幅图说明HUE能管理哪些组件。除了Oozie，LDAP SAML和Solr以外，前面的课程都说过了，Oozie是一个工作流组件，在下一课讲解，LDAP是一个用户密码的管理中心，负责用户的登陆。

2015-02-12 09:00:12 34605 7

原创 Alex 的 Hadoop 菜鸟教程: 第17课更快速的MapReduce - Spark

Spark是Apache的顶级项目。项目背景是 Hadoop 的 MapReduce 太挫太慢了，于是有人就做了Spark，目前Spark声称在内存中比Hadoop快100倍，在磁盘上比Hadoop快10倍。

2015-02-11 17:08:12 6451

原创 Alex 的 Hadoop 菜鸟教程: 第18课用Http的方式访问HDFS - HttpFs 教程

HttpFs 有啥用? HttpFs可以干这两件事情: 1.通过HttpFs你可以在浏览器里面管理HDFS上的文件 2.HttpFs还提供了一套REST 风格的API可以用来管理HDFS。其实很简单的一个东西嘛，但是很实用。

2015-02-10 11:17:49 17314

原创 Alex 的 Hadoop 菜鸟教程: 第16课 Pig 安装使用教程

本教程介绍Pig的安装和使用。hdfs虽说是一个文件空间，但是我们每次要查看hdfs上的文件的时候都要输入一大串命令，比如一个简单的ls都需要输入： hdfs dfs -ls / ，而且还不能cd到某个目录，这样就造成了每次ls都要带上全路径的麻烦，能不能有一个工具可以模拟linux下的shell呢？Pig就实现了这样的需求，可以直接ls，可以cd到某个目录。并且Pig还创造了 Pig Latin语言，可以通过Pig写一个类似存储过程的MapReduce的Job，pig会自动帮你把这个job翻译成MapR

2015-02-09 18:25:16 3994

原创 Alex 的 Hadoop 菜鸟教程: 第15课 Impala 安装使用教程

本教程介绍Impala的安装，使用和JDBC调用。为什么用 Impala？因为Hive 太慢了！Impala 也可以执行SQL，但是比Hive的速度快很多。为什么Impala可以比Hive快呢？因为Hive采用的是把你的sql转化成hadoop 的 MapReduce任务的代码，然后编译，打包成jar包，并分发到各个server上执行，这是一个相当慢的过程。而Impala根本就不用Hadoop的MapReduce机制，直接调用HDFS的API获取文件，在自己的内存中进行计算。

2015-02-09 18:19:28 16908 8

原创在Centos下用alternative命令切换各个版本的jdk的方法

centos自带openJDK，我从别的机器上拷贝了一个jdk1.7 到 /usr/java/ 目录下，然后运行 sudo alternatives --install /usr/bin/java java /opt/jdk1.7.0_71/bin/java 1sudo alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_71/

2015-01-29 17:35:15 15811 3

原创 Alex 的 Hadoop 菜鸟教程: 第11课 Hive的Java调用

说到Hive就一定要说到写程序的时候怎么调用Hive。以下我通过一个例子说明如果通过java来调用hive查询数据

2015-01-23 00:13:33 5567

原创 Alex 的 Hadoop 菜鸟教程: 第9课 zookeeper 介绍和使用

看了之前的教程，会发现多处出现zookeeper，比如hadoop的 auto failover 得用 zookeeper ，Hbase 的 RegionServer 也得用zookeeper。其实不止hadoop，包括现在小有名气的 Storm 用的也是zookeeper。那么zookeeper 究竟是做什么用的？

2015-01-18 19:10:01 8786

原创 Alex 的 Hadoop 菜鸟教程: 第8课 Hbase 的 java调用方法

我们搭建hbase并不是要用shell来查数据的，我们是要写基于hbase的应用的，所以学习如何使用java来调用hbase是必修课。

2015-01-16 01:13:26 4537

原创 Alex 的 Hadoop 菜鸟教程: 第4课 Hadoop 安装教程 - HA方式 (2台服务器)

具体的讲解一下如何将hadoop安装成HA模式

2014-12-30 00:29:20 8933 12

原创 Alex 的 Hadoop 菜鸟教程: 第10课 Hive 安装和使用教程

Hive 提供了一个让大家可以使用sql去查询数据的途径。让大家可以在hadoop上写sql语句。但是最好不要拿Hive进行实时的查询。因为Hive的实现原理是把sql语句转化为多个Map Reduce任务所以Hive非常慢，官方文档说Hive 适用于高延时性的场景而且很费资源。

2014-12-08 18:05:53 17625 3

原创 Alex 的 Hadoop 菜鸟教程: 第14课 Sqoop1 从Hbase导出mysql

今天讲讲怎么用sqoop将Hbase或者Hive的东西导出到mysql。不过事先要告诉大家：目前sqoop没有办法把数据直接从Hbase导出到mysql。必须要通过Hive建立2个表，一个外部表是基于这个Hbase表的，另一个是单纯的基于hdfs的hive原生表，然后把外部表的数据导入到原生表（临时），然后通过hive将临时表里面的数据导出到mysql

2014-12-05 08:54:02 3091

原创 Alex 的 Hadoop 菜鸟教程: 第13课 Sqoop1 导入 Hbase 以及 Hive

承接上节课，继续讲如何使用sqoop将mysql的数据导入到 Hbase 或者 Hive 里面

2014-12-02 18:03:10 3519 1

原创 Alex 的 Hadoop 菜鸟教程: 第12课 Sqoop1 安装/导入/导出教程

sqoop是用于在传统关系型数据库跟hdfs之间进行数据导入导出的工具。目前sqoop已经出了2，但是截至当前，sqoop2还是个半成品，不支持hbase，功能还很少，所以我还是主要讲sqoop1

2014-12-01 15:23:58 13192

转载解决android sdk下载难问题的终极解决办法-使用国内镜像

下载android sdk很困难是由于那个众所周知的原因。解决的方案，既不是翻墙也不是把地址拷贝出来来用迅雷，那太麻烦了，只需要使用国内的镜像就好了1.启动 Android SDK Manager ；2.打开主界面，依次选择「Tools」、「Options...」，弹出『Android SDK Manager - Settings』窗口；3.在『Android SDK Mana

2014-11-29 13:49:13 2903

转载 IIS开启了GZIP和XCACHE之后飞快

一.摘要本文总结了如何为使用IIS托管的网站启用Gzip压缩, 从而减少网页网络传输大小, 提高用户显示页面的速度. 二.前言.本文的知识点是从互联网收集整理, 主要来源于中文wiki. 使用YSlow检测网站启用了哪些优化时, Gzip是十分关键的一项. 启动Gip压缩将立竿见影的减少页面的网络传输大小. 三.HTTP压缩概述HTTP压缩

2014-11-17 15:09:32 1659

原创将页面上的javascript错误获取到并打印到页面上的方法

将页面上的javascript错误获取到并打印到页面上的方法如下，

2014-11-12 15:07:18 3704

原创快速切换jdk1.6与1.7的bat

新建一个bat文件把下面这段粘贴进去，jdk

2014-11-06 23:10:57 2739

phoenix-4.2.2-bin.tar.gz

Apache Phoenix 安装包版本 4.2.2

2015-02-12

phoenix-3.2.2-bin.tar.gz

Apache Phoenix的安装包 http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html 版本 3.2.2

2015-02-12

mysql jdbc驱动 5.1.34

mysql jdbc驱动 5.1.34，很多人都用的上

2014-11-25

mysql-connector-java-5.1.34-bin.jar

mysql 的jdbc 驱动。mysql-connector-java-5.1.34-bin.jar

2014-11-25

zend debugger toolbar for chrome

用于chrome的zend 调试工具栏，配合 zend debugger 可以对php进行调试具体步骤看我的文章： http://blog.csdn.net/nsrainbow/article/details/2218309

2013-08-16

ZendDebugger-5.2.10 for php 5.2.x

用于php 5.2.x 的 zend debugger，下载后解压开扔到 d:\zend\ZendDebugger.dll 然后添加这段到php.ini最后 [Zend] zend_extension_ts="d:/zend/ZendDebugger.dll" zend_debugger.allow_hosts=127.0.0.1/32,127.0.0.1/24 zend_debugger.expose_remotely=allowed_hosts 剩下的步骤具体看我的文章： http://blog.csdn.net/nsrainbow/article/details/2218309

2013-08-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

phoenix-4.2.2-bin.tar.gz

phoenix-3.2.2-bin.tar.gz

mysql jdbc驱动 5.1.34

mysql-connector-java-5.1.34-bin.jar

zend debugger toolbar for chrome

ZendDebugger-5.2.10 for php 5.2.x

VE-runtime-1.2.3_jem.zip

GEF-runtime-3.2.zip

emf-sdo-runtime-2.2.0.zip

iReport-JasperReports报表开发教程

JSEclipse

jad对应3.3插件

implementors3.3插件

空空如也