2013年03月_luyee2010

原创 hbase SCAN操作-ROOT- .META.

hbase(main):015:0> scan '-ROOT-'ROW COLUMN+CELL .META.

2013-03-31 02:22:52 5123

原创 Java设计模式之抽象工厂模式

抽象工厂模式：①，抽象工厂角色②，具体工厂角色③，抽象产品角色④，具体产品角色----------------------------------------------------------------------------------------------------------------------①，抽象工厂角色 (AbstractFactory.java)

2013-03-26 01:47:31 1176

原创 Java设计模式之工厂方法模式

1，工厂方法模式（每个具体角色由其具体工厂产生）,①，抽象角色②，具体角色③，抽象工厂④，具体工厂抽象工厂模式(与工厂模式区别在于创建对象的复杂程度上)①，抽象角色：package method.factory;public interface AbstractMove {public void run();}②，具体角色package

2013-03-26 00:43:47 968

原创 MapReduce错误任务失败处理

MapReduce的作业失败主要分三个层次，即jobtracker失败,tasktracker,子任务实例1，jobtracker失败jobtracker失败应该说是最严重的一种失败方式了，而且在hadoop中存在单点故障的情况下是相当严重的，因为在这种情况下作业最终失败，尽管这种故障的概率极小但是还是应该避免，可以通过启动多个jobtracker，在这种情况只运行一个主的jobtrack

2013-03-25 01:56:46 3541

转载 Spring IOC源码分析

http://blog.csdn.net/shi1122/article/category/580946 spring IOC源码分析（1） 1.何谓Spring IOC 何谓Spring IOC？书上谓之“依赖注入”，那何谓“依赖注入”？作为一个Java程序猿，应该遇到过这样的问题，当你在代码中需要使用某个类提供的

2013-03-22 00:36:24 1522

原创各种不一样的求职简历

马杰---产品经理：http://www.wiidou.com/resume/?bsh_bid=204083357

2013-03-20 02:15:26 1209

转载 PrepareStatement与Statement之间的区别

http://luckykapok918.blog.163.com/blog/static/20586504320121027560264/①PrepareStatement是预编译，对于批量处理可以大大提高运行效率。②如果说所使用的SQL语句是一次性的话，那么使用Statement较好，因为，这样的话使用PrepareStatement并不会产生太大的效果，相反，

2013-03-20 00:44:46 818

转载 forward和redirect的区别

SetCookie、GetCookie自行设定有效日期：Response.Cookies(CookieName).Expires=#日期# 页面转发区别：在Servlet中两种实现： forward方式：request.getRequestDispatcher("/somePage.jsp").forward

2013-03-20 00:13:32 874

转载探秘Java虚拟机——内存管理与垃圾回收

本文主要是基于Sun JDK 1.6 Garbage Collector（作者：毕玄）的整理与总结，原文请读者在网上搜索。1、Java虚拟机运行时的数据区2、常用的内存区域调节参数-Xms：初始堆大小，默认为物理内存的1/64(-Xmx：最大堆大小，默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小

2013-03-19 01:50:57 1728

转载 Hadoop源码分析之一(RPC机制之Server)

Rpc源码分析比较给力，详细：源码级强力分析hadoop的RPC机制：http://weixiaolu.iteye.com/blog/1504898http://www.linuxidc.com/Linux/2013-01/77251p2.htm网上已经有很多关于Hadoop源码分析的好文，在这记录的目的是把自己在看Hadoop源码时自己的一些体会，方便日后查询巩固。

2013-03-17 00:42:00 1122

原创 Hadoop中DataNode与NameNode之间的心跳机制

DataNode: 用于存储HDFS的数据，public class DataNode extends Configured implements InterDatanodeProtocol, ClientDatanodeProtocol, FSConstants, Runnable {。。。}1,实现了InterDatanodeProtocol, ClientDatano

2013-03-17 00:21:12 4875

转载关于MySql 对GroupBy进行排序的解决方案

很简单。。SELECT * FROM (SELECT * FROM postsORDERBY dateline DESC) GROUP BY tidORDER BY datelineDESC LIMIT 10以上例句，查询回复表，Group By tid，按照主帖的ID(tid)进行分类，根据dateline(回复时间)字段来进行排序。由于Group By 必须写在

2013-03-15 01:33:44 5259 2

原创 java集合 hashmap hashtable weakhashmap linkedlist arraylist vector

上个图算了：：

2013-03-14 01:32:49 1500

原创 Java异常处理机制以及try-catch-finally-return执行顺序

一，简单描述：当出现程序无法控制的外部环境问题（用户提供的文件不存在，文件内容损坏，网络不可用...）时，JAVA就会用异常对象来描述。二，JAVA中用2种方法处理异常：　　1.在发生异常的地方直接处理；　　2.将异常抛给调用者,让调用者处理。三，JAVA异常可分为3种：　　(1)检查性异常:java.lang.Exception　　(2)运

2013-03-14 00:52:00 8182 3

原创 Android学习笔记之初步学百度地图

新建一个工程，将API添加到Andoid工程中必须显得下载API开发包：点击下载解压之后包括两个文件baidumapapi.jar和libBMapApiEngine.so。在工程根目录下创建ibs\armeabi目录，并拷贝到其目录下。在工程属性->Java Build Path->Libraries中选择“Add JARs”，选定baidumapapi.jar，确定后如下

2013-03-13 22:06:47 1153

转载 Hadoop Map/Reduce执行全流程关键代码

2013-03-13 02:16:56 1110

转载 Namenode源代码分析

http://blog.csdn.net/flyingpig4/article/details/7832646.namenode结构简介： 1.基本概念： |-->一个hdfs cluster包含一个NameNode和若干的DataNode，NameNode（以下简称nn）是master，主要负责管理hdfs文件系统，具体地包括namespace管理（其实就是

2013-03-13 02:16:18 1637

转载 hadoop datanode源码分析

http://blog.csdn.net/flyingpig4/article/details/7667290DataNode源代码分析: 1.简介:DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode 2.main启

2013-03-13 02:14:20 2241

原创 Java虚拟机JVM原理相关

啥是JVM啊。。。。哎。。好深奥有么有-------------------------------------------------------------------------------------------------------------------------------------------------------------第一篇：http://wenku

2013-03-13 01:53:28 2158

原创 java垃圾回收相关

什么垃圾回收什么JVM, 我就是不懂哎。慢慢啃了，先找几个博客过过隐。---------------------------------------------------------------------------------------------------------------------------------------------------------------

2013-03-13 00:41:17 2955 1

转载 Hbase Rpc只是个链接地址哦

HBase源码分析 – RPC机制:客户端http://www.spnguru.com/2010/08/hbase%E6%BA%90%E7%A0%81%E5%88%86%E6%9E%90-%E2%80%93-rpc%E6%9C%BA%E5%88%B6%E5%AE%A2%E6%88%B7%E7%AB%AF/HBaseClient源码分析http://www.spnguru.com/2

2013-03-12 03:07:27 991

原创 MapReduce编程之通过MapReduce读取数据，往Hbase中写数据

1，首先是map类：package com.hbase.maptohbase;import java.io.IOException;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;

2013-03-10 03:32:42 9015

原创也来看看SAE+PHP SDK 新浪微博的Demo(PHP版)

1，下载微博的PHPSDK http://code.google.com/p/libweibo/downloads/list选择的是V2版的，2，创建一个微博的站内应用此处将回调地址（站内应用地址）设置好，实际地址就填SAE的应用地址3，创建一个SAE的应用，进入应用页面，点击代码管理，上传代码，选中刚下载的PHPsdk4，编辑，点击编辑代码，打开config

2013-03-09 20:00:20 3002 1

转载 Hadoop学习总结之四：Map-Reduce的过程解析

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient j

2013-03-08 01:54:38 834

转载海量数据的二度人脉挖掘算法（Hadoop 实现）

原创博客，转载请注明：http://my.oschina.net/BreathL/blog/75112 最近做了一个项目，要求找出二度人脉的一些关系，就好似新浪微博的“你可能感兴趣的人” 中，间接关注推荐；简单描述：即你关注的人中有N个人同时都关注了 XXX 。在程序的实现上，其实我们要找的是：若 User1 follow了10个人｛User3，U

2013-03-08 01:17:33 1532

转载 Hadoop读写过程详细代码

Hadoop学习总结之二：HDFS读写过程解析一、文件的打开1.1、客户端HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为：public FSDataInputStream open(Path f, int bufferSize) throws IOExceptio

2013-03-08 01:10:22 1106

转载 Java中堆和栈的区别

栈与堆都是Java用来在Ram中存放数据的地方。与C++不同，Java自动管理栈和堆，程序员不能直接地设置栈或堆。 Java的堆是一个运行时数据区,类的对象从中分配空间。这些对象通过new、newarray、anewarray和multianewarray等指令建立，它们不需要程序代码来显式的释放。堆是由垃圾回收来负责的，堆的优势是可以动态地分配内存大小，生存期也不必事先告诉编译器，因为它

2013-03-06 23:47:31 771

转载 HDFS读写数据流

一, 文件读取剖析Configuration conf = newConfiguration();FileSystem fs = FileSystem.get(conf);FSDataInputStream in = fs.open(new Path(uri));客户端调用FileSystem的get()方法得到一个实例fs(即分布式文件系统Distribu

2013-03-06 19:52:18 4251

原创 hadoop视频教程下载链接

炼数成金hadoop视频教程：http://dl.vmall.com/c0ba3va3teEasyhadoop技术大学hadoop实践视频教程:http://pan.baidu.com/share/link?shareid=492484&uk=1124363056#dir

2013-03-05 22:25:39 13452 6

原创 github链接

淘宝开源OceanBase: https://github.com/alibaba/oceanbaseredis源码注释版https://github.com/huangz1990/annotated_redis_source/tree/unstable/src（huangz博客：http://huangz.me/）

2013-03-05 20:57:27 1596

转载 Hadoop RPC详细分析

1. 总体结构HadoopRPC逻辑上分成三部分，如上图所示。1.1. RPC InterfaceRPC对外接口。1.2. RPC ServerRPC服务端的实现。1.3. RPC ClientRPC客户端的实现。1.4. RPC InterfaceRPC是对外的接口类，主要提供两个方法：getProxy和getSer

2013-03-05 02:47:53 1224

转载 Hadoop心跳机制源码分析

一．体系背景首先和大家说明一下：hadoop的心跳机制的底层是通过RPC机制实现的，这篇文章我只介绍心跳实现的代码，对于底层的具体实现，大家可以参考我的另几篇博客：1. hadoop的RPC机制（参考：http://weixiaolu.iteye.com/blog/1504898 ）2. 动态代理（参考：http://weixiaolu.iteye.com/blog/147

2013-03-05 01:00:32 898

转载源码级强力分析hadoop的RPC机制

分析对象： hadoop版本：hadoop 0.20.203.0必备技术点： 1. 动态代理（参考：http://weixiaolu.iteye.com/blog/1477774 ）2. Java NIO（参考：http://weixiaolu.iteye.com/blog/1479656 ）3. Java网络编程目录：一．RPC协议二．ipc.RPC

2013-03-05 00:56:36 1041

转载 Hadoop RPC 实例

Datanode要向Namenode发送请求，希望得到一个字符串应答。假设Namenode的地址是127.0.0.1:9000一、配置文件org.apache.hadoop.conf. Configuration；对应的配置文件是core-site.xml。配置项以key-value的形式存储。[xhtml] view plaincopy

2013-03-05 00:52:22 977

转载 Hadoop RPC整个使用流程——以DataNode向NameNode注册为例

在HDFS实现过程中DataNode class中有一个成员变量namenode，其类型是DatanodeProtocol。namenode可以看作是远程NameNode服务器的一个代理，因为NameNode本身也是DatanodeProtocol接口的具体实现；DataNode通过调用namenode对象的方法与远程NameNode进行交互。下面看一下namenode变量在DataNode当

2013-03-05 00:45:24 867

转载轻松使用Hadoop RPC

Hadoop RPC是Hadoop的一个重要部分，提供分布式环境下的对象调用功能，源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码，只是在配置项上面有所改动。关于Hadoop RPC的机制分析和源码解读，网上已经有许多资料，一搜一大把，这里就不在描述了。本文通过一个小例子，介绍如何调用Hadoop RPC。1. 应用场景Had

2013-03-05 00:23:02 819

原创 java设计模式之简单工厂模式

工厂模式主要是为创建对象提供接口，工厂模式有可以分为三类：1，简单工厂模式①，抽象角色②，具体角色③工厂角色2，工厂方法模式（每个具体角色由其具体工厂产生）,①，抽象角色②，具体角色③，抽象工厂④，具体工厂3，抽象工厂模式(与工厂模式区别在于创建对象的复杂程度上)一，简单工厂模式也称静态工厂方法抽象类角色：一般是接口或者抽象类，由具体

2013-03-03 22:14:25 895

转载 Hbase分析报告（tablename+startrowkey_regionid/-meta-）

Hbase分析报告本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写Hbase是一个分布式开源数据库，基于Hadoop分布式文件系统，模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。Hbaes的目标是处理非常庞大的表，可以用普通的计算机处理超过10亿行数据，并且有数百万列元素组成的数据表。Hbase可以直接使用本地文件系统或

2013-03-03 19:45:45 2390

转载 HBase HMerge源代码阅读和修改

随着Hbase里删除的进行，有些Region的数据会越来越少，而HBase不会主动去回收这些Region，因此会造成Region越来越多。HBase里提供了一个工具类HMerge，直接拿过来用却并不能运行，按照自已对HBase的理解对HMerge稍做修改，使其可以运行。运行时不需要Disable表，但需要注意的是在运行时如果同时往该表里put数据，可能会有问题，改后的代码如下： /**

2013-03-03 16:48:15 1119

转载 Hbase region split源代码阅读笔记

客户端 1. HbaseAdmin.split(final byte [] tableNameOrRegionName, final byte [] splitPoint) 这个方法首先判断参数是regionName还是tableName；如果是regionName则只分裂该region,如果是tableName则分裂该表下的所有region if (isReg

2013-03-03 16:46:48 1038

mysql-connector-java-5.1.6-bin.jar

飞思卡尔单片机之ATD寄存器详解

飞思卡尔智能车单片机资料1

计算机二级考试试题.

空空如也