2012年12月_luyee2010

原创 hbase的过滤 Filter 之SingleColumnValueFilter

scan的操作：hbase(main):002:0> scan 'scores'ROW COLUMN+CELL zkb

2012-12-28 01:27:38 11468 2

原创 hbase的过滤 Filter 之PrefixFilter

首先来can下表：hbase(main):004:0> scan 'scores'ROW COLUMN+CELL zkb

2012-12-28 00:36:38 12093 2

转载腾讯校招题：fork进程与缓存

腾讯校招题：fork进程与缓存题目描述：请问下面的两个程序各一共输出多少个“-”？#include #include #include int main(void){ int i; for(i=0; i2; i++) { fork(); printf("-"); } return 0

2012-12-27 01:40:56 1226 1

转载 BTree,B-Tree,B+Tree,B*Tree都是什么

转载地址：http://blog.csdn.net/b2b160/article/details/4701944主要是好久没看了，感觉忘记的差不多了。这个图感觉不错！！B树、B-树、B+树、B*树都是什么 B树即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； 2.所有结点存储一个关键字；

2012-12-27 01:30:58 721

转载 MapReduce 的理解

1分钟理解map reduce，其实它就在我们身边：http://heipark.iteye.com/blog/845267，就是：查找与汇总呗linux平台下有个ls指令，大家都很熟悉：① ls | grep 2008 查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这

2012-12-27 00:07:31 939

原创 android.os.NetworkOnMainThreadException

android.os.NetworkOnMainThreadException这个异常也就是说不能在主线程中执行网络操作解决方案：①，StrictMode.setThreadPolicy(new StrictMode.ThreadPolicy.Builder().detectDiskReads().detectDiskWrites().detectNetwork

2012-12-26 19:41:17 1757

原创 hbase源码学习之put操作

整理了下大致流程图：Client--->Htable---->Hmastermanager/ZK(获取-root-,--meta--)------>HregionServer----->Hregion------>Hlog/Hmemstore----->HFilecustomHBase.put(table, row, fam, qual, val);Result result =

2012-12-26 02:29:56 16600 1

转载 eclipse 远程Debug Hbase

我们学习任何一项技术，要想深入研究，都需要对源码进行debug，在学习HBase的过程更是避免不了debug，下面说明怎么样配置才能让eclipse远程调试Hbase。进入hbase 的bin目录下，用vi编辑hbase文件。hbase的shell脚本。也是hbase启动的核心脚本。找到下面这一部分。在结尾部分。unset IFS# figure out which class

2012-12-25 23:59:37 2206

转载 Hbase 三维有序存储

hbase所谓的三维存储的三维是指：rowkey（行主键），column key(columnFamily+qualifier)，timestamp(时间戳)先说rowkey，我们知道rowkey是行的主键，而且hbase只能用个rowkey，或者一个rowkey范围即scan来查找数据。所以rowkey的设计是至关重要的，关系到你应用层的查询效率。我们知道，rowkey是以字典顺序排序的

2012-12-25 23:55:58 2890

转载 Hbase 存储结构数据模型

Hbase 存储结构数据模型 TABLE HBase以表的形式存储数据。表有行和列组成。列划分为若干个列族(Column family),一行由RowKey 时间戳，若干个列组成。除了rowkey和时间戳外，其他的列称为列族，他的命名有一定的规范。rowKey就像关系数据库的主键，用来检索记录。table中所有的记录按rowkey来排序，访问hba

2012-12-25 23:54:15 5606

转载 ClassLoader

什么是ClassLoaderClassLoader是一个抽象类，我们用它的实例对象来装载类，它负责将 Java 字节码装载到 JVM 中，并使其成为 JVM 一部分。 JVM 的类动态装载技术能够在运行时刻动态地加载或者替换系统的某些功能模块，而不影响系统其他功能模块的正常运行。一般是通过类名读入一个class文件来装载这个类，（其它加载形式暂时没有研究过）。ClassLoader装载过

2012-12-25 00:17:04 721

原创 android adb shell的使用（转）

1，android list avd：显示AVD2，android list targets显示系统所有android平台3， adb devicesadb 常用命令大全1. 显示系统中全部Android平台： android list targets2. 显示系统中全部AVD（模拟器）： an

2012-12-25 00:05:44 1354

原创 android HttpURLConnection 实现下载

public String download(String urlStr) {StringBuilder sb = new StringBuilder()try {// 创建一个URL对象url = new URL("http://www.baidu.com");// 创建一个Http连接HttpURLConnection urlConn = (HttpURLConnect

2012-12-24 23:45:39 1172

转载新旧版hadoop的一些差别

Hadoop最新版本的MapReduce Release 0.20.0的API包括了一个全新的Mapreduce JAVA API，有时候也称为上下文对象。新的API类型上不兼容以前的API，所以，以前的应用程序需要重写才能使新的API发挥其作用。新的API和旧的API之间有下面几个明显的区别。新的API倾向于使用抽象类，而不是接口，因为这更容易扩展。例如，你可以添加一个方法

2012-12-24 01:31:47 1159

原创 hbase 的regioninfo

无意间看了下接了个图：这个一个scores表的结构，这个表有两个faminly:course,grade下面再来看regrioninfo的信息吧：2147483647BLOCKCACHE2147483647BLOCKCACHEREGION => {NAME => 'scores,,1353524491099.c5c11a33d955ef1469708e17946

2012-12-24 00:53:41 1469

原创 hadoop的FileSystem 文件系统实现上传下载文件

实现文件的上传和下载：import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.

2012-12-24 00:02:04 14529

原创 android 布局

Android的五大布局：1，LinearLayout（线性布局）、2，FrameLayout（单帧布局）、层级3，RelativeLayout（相对布局）、4，AbsoluteLayout（绝对布局）,5，TableLayout（表格布局）。

2012-12-23 21:40:44 804

原创 android Sqlite数据库的操作

首先必须继承自：SQLiteOpenHelper，实现其onCreate，onUpgrade方法构造方法：public DatabaseHelper(Context context, String name, CursorFactory factory, int version) 第一个参数：Context类型，上下文。第二个参数：String类型，数据库名称第三个参数：C

2012-12-23 03:40:51 1302

原创 android SharePrefereces的使用入门2

java源文件：package com.lp;import android.app.Activity;import android.content.SharedPreferences;import android.os.Bundle;import android.widget.EditText;public class TestSharePrefereActivit

2012-12-23 02:42:14 1450

原创 android adb sqlite3的shell使用

在数据库data中创建表tb,tb1,tb3,tb4.........建立库：sqlite3.exe data;建立表：create table tb(id int ,name vachar(5));显示表的结构select * from sqlite-master where type="table" and name="tb";显示所有结构： .schema

2012-12-23 01:42:42 2254

原创地址

原本是个链接

2012-12-23 00:37:46 657

转载 MySQL百万级数据库优化方案

首先声明是转的，感觉写的很细，原文链接：http://simpleframework.net/blog/v/7881.html1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id

2012-12-17 22:56:10 13298

原创 Hbase HregionServer Hregion Hmaser

由Hregion服务器集群和Hmaster主服务器构成HBase的服务体系结构，1,Hregion:通常情况下每个表被拆分成很多个块，其中的每一块就是Hregion,一张表保存在多个Hregion中，每个Hregion保存某段连续的数据，从开始主键（startRow）到结束主键(endRow)通过Hregion从Hadoop的分布式文件系统上数据2，Hmemcache:内存中的

2012-12-14 01:48:23 1406

原创 Mysql Query optimizer mysql查询优化笔记

执行计划优化器一，Mysql Query optimizer ：Mysql中有专门负责优化SELECT语句的优化器模块，主要功能：通过计算分析系统中收集到的统计信息，为客户端请求的Query提供他认为最有的执行计划（他认为最优的数据检索方式）-----哈哈，就是个优化器嘛二，Query语句优化基本思路和原则1，优化更需要优化的Query高并发低消耗：10000次*20个

2012-12-12 00:52:10 2521 1

原创 hadoop 的HDFS文件系统

一，NameNode 元数据节点：管理文件系统 secondary namenode从元数据节点：元数据节点的别用节点二，DataNode 数据节点：存储数据的地方1）客户端向其请求读取或写入文件,元数据节点发起2）周期性的想元数据节点回报当前存储的数据快信息三，Block数据块：最基本的存储单位，默认64m,当一个文件大小小于一个数据块的大小时，并

2012-12-11 01:33:21 1460

原创 mysq存储l引擎【读书笔记2】

存储引擎（引）：即，如何存储数据、如何为存储的数据建立索引和如何更新、查询数据等技术的实现方法。因为在关系数据库中，数据的存储是以表的形式存储的，所以存储引擎也可以称为表类型(即存储和操作此表的类型)。一，mysql存储引擎：1，MyISAM:1),每个表都呗存放以表名命名的物理文件：存储表结构定义信息（.frm）,存放表的数据（.MYD）,存放表的索引（.MYI）2),支持索引类

2012-12-11 00:59:10 1070

原创 mysql log文件【读书笔记1】

老是上网东看看，西瞧瞧。。不行啊，容易浮躁。。看书算了一，错误日志文件：Error.log记录Mysql Server运行过程所有较为严重的警告或错误信息，以及Mysql Server启动和关闭的详细信息，默认关闭开启-log-error=[=file-name]二，二进制日志Binary Log&Binary Log Index,即binlog-log-bin=[=file_

2012-12-11 00:36:57 2468 1

原创不应该在where子句中使用聚合函数

如题，where子句不能使用聚合函数，否则会报错： Invalid use of group function

2012-12-10 22:45:51 3167

原创 Spring jdbcTemplete datasource

1,applicationContext.xml配置bean class="org.apache.commons.dbcp.BasicDataSource"> 2,UserDaoImpl.javapackage com.dao;import org.springf

2012-12-08 02:05:54 1387

原创 Hadoop示例程序之单词统计MapReduce

在eclipse下新建一个map/reduce Project1,新建文件MyMap.javaimport java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io

2012-12-06 02:13:10 2970

原创 hadoop实例之HELLOWORLD

新建一个Map/Reduce工程文件:HelloWorld.javaimport java.io.OutputStream;import org.apache.hadoop.conf.*;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.*;public class HelloW

2012-12-05 02:03:02 2974 1

原创 eclipse与hadoop

eclipse各种版本下载地址:http://archive.eclipse.org/eclipse/downloads/址:jee版没搞定，烦了直接着老板本的eclipse,hadoop插件自带的启动了java版的：./eclipse -data ./workspace配置hadoop

2012-12-05 00:42:07 691

原创 Hbase java客户端操作

1，创建表2，put操作public class myHbase { private static Configuration conf= null; static { conf=HBaseConfiguration.create(); } /** * column familys add column hb

2012-12-04 02:44:31 2208

原创 HBASE的shell使用

也来hbase的shell吧首先是登录hbase 了：hbase(main):001:0> create 'tbname','row','column1','column2'0 row(s) in 1.0730 secondshbase(main):004:0> list 'tbname'TABLE

2012-12-04 01:57:51 3905 1

luyee2010的专栏