我爱大海V5的专栏

我如同永不老去的时光，奔腾不停，只渴望在某一天能找到属于自己的辉煌，如同蜗牛终将爬上金字塔的塔顶，欣赏大地第一缕阳光，沐浴人间第一丝温暖。

12月 11月

转载 HTML5 Canvas 绘制股市走势图

做金融类网站的时候，出现的最多的是价格走势图，但由于金融市场变化非常快，人工做图的话很不靠谱，机器生成的话开发难度比较大。所以小型金融网站通常会引用大网站的数据，例如 Google 财经频道的走势图。可是 Google 采用的是 flash 来展示价格走势，如果我们的网站要针对 iPad 等移动终端进行开发的话，只能使用 HTML5 canvas 标签绘图。今天在网上看到一个

2013-12-20 11:15:19 11958

原创 Hadoop 多表 join：map side join 范例

在没有 pig 或者 hive 的环境下，直接在 mapreduce 中自己实现 join 是一件极其蛋疼的事情，MR中的join分为好几种，比如有最常见的 reduce side join，map side join，semi join 等。今天我们要讨论的是第 2 种：map side join，这种 join 在处理多个小表关联大表时非常有用，而 reduce join 在处理多表关联时是比

2013-12-18 17:19:57 925

原创 hadoop DistributedCache的使用

Configuration conf = new Configuration();DistributedCache.createSymlink(conf);DistributedCache.addCacheFile(new URI("/user/root/input/testFile#testFile"), conf);//可以用testFile代替前面的文件

2013-12-18 17:14:07 725

原创 Java中的String与常量池

string是java中的字符串。String类是不可变的,对String类的任何改变,都是返回一个新的String类对象。本文主要介绍Java中的String与常量池，希望对你有帮助，一起来看。string是java中的字符串。String类是不可变的,对String类的任何改变,都是返回一个新的String类对象。下面介绍java中的String与常量池。1

2013-12-18 11:17:19 789 1

转载 Hadoop权限管理

1. 介绍本文介绍的Hadoop权限管理包括以下几个模块：（1）用户分组管理。用于按组为单位组织管理，某个用户只能向固定分组中提交作业，只能使用固定分组中配置的资源；同时可以限制每个用户提交的作业数，使用的资源量等（2）作业管理。包括作业提交权限控制，作业运行状态查看权限控制等。如：可限定可提交作业的用户；可限定可查看作业运行状态的用户；可限定普通用户只能修改自

2013-12-18 10:17:19 668

转载自定义 hadoop MapReduce InputFormat 切分输入文件

在上一篇中，我们实现了按 cookieId 和 time 进行二次排序，现在又有新问题：假如我需要按 cookieId 和 cookieId&time 的组合进行分析呢？此时最好的办法是自定义 InputFormat，让 mapreduce 一次读取一个 cookieId 下的所有记录，然后再按 time 进行切分 session，逻辑伪码如下：for OneSplit in MyIn

2013-12-16 18:28:47 1037

原创 Hadoop 中利用 mapreduce 读写 mysql 数据(转)

有时候我们在项目中会遇到输入结果集很大，但是输出结果很小，比如一些 pv、uv 数据，然后为了实时查询的需求，或者一些 OLAP 的需求，我们需要 mapreduce 与 mysql 进行数据的交互，而这些特性正是 hbase 或者 hive 目前亟待改进的地方。好了言归正传，简单的说说背景、原理以及需要注意的地方：1、为了方便 MapReduce 直接访问关系型数据库（Mysql

2013-12-16 11:47:21 1014

原创 Hadoop MapReduce 二次排序原理及其应用

目录[-]1、首先说一下工作原理： 2、二次排序 3、具体步骤： 1 自定义key。 2 由于key是自定义的，所以还需要自定义一下类： 4 代码：5 测试需求：6 测试数据与结果：7 原理图（点击查看大图）：8、推荐阅读：9、REF:关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPar

2013-12-13 17:37:01 954

转载 JAVA反射机制

Reflection是Java 程序开发语言的特征之一，它允许运行中的 Java 程序对自身进行检查，或者说"自审"，并能直接操作程序的内部属性。例如，使用它能获得 Java 类中各成员的名称并显示出来。 Java 的这一能力在实际应用中也许用得不是很多，但是在其它的程序设计语言中根本就不存在这一特性。例如，Pascal、C 或者 C++ 中就没有办法在程序中获得函数定义相关的信息。Jav

2013-12-13 12:18:50 456

原创 java反射机制初探（转）

最近和一位师兄交流了一下Java，真可谓是大有收获，让我好好的学习了一下javad的反射机制，同终于明白了spring等框架的一个基本实现的思想，那么今天就和大家分享一下java的反射机制。　　反射，reflection，听其名就像照镜子一样，可以看见自己也可以看见别人的每一部分。在java语言中这是一个很重要的特性。下面是来自sun公司官网关于反射的介绍：

2013-12-13 11:44:43 593

转载 Java中abstract和interface的区别

abstract class和interface是Java语言中对于抽象类定义进行支持的两种机制，正是由于这两种机制的存在，才赋予了Java强大的面向对象能力。 abstract class和interface之间在对于抽象类定义的支持方面具有很大的相似性，甚至可以相互替换，因此很多开发者在进行抽象类定义时对于 abstract class和interface的选择显得比较随意。其实，两者之间

2013-12-13 10:52:43 475

转载 string,StringBuffer与StringBuilder的区别??

String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全）简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等同于生成了一个新的 String 对象，然后将指针指向新的 String 对象，所以经常改

2013-12-12 18:05:33 561

原创 Spring2.5+MINA2搭建Socket Server

1、下载相应的开发包http://mina.apache.org/，MINA2.0版本包含了spring开发包，还需下载其他相关包，我的工程用到的包如下图： 2、配置spring的spring-mina-1.xml，配置mina服务：<beans xmlns="http://www.springframework.org/schema/beans" xmlns:

2013-12-12 17:14:15 1726

转载 Apache MINA 2.0 简单应用示例及与Spring的集成

Apache MINA 2.0 简单应用示例及与Spring的集成基于Apache MINA 的网络应用有三个层次，分别是 I/O 服务、I/O 过滤器和 I/O 处理器：1. I/O 服务：I/O 服务用来执行实际的 I/O 操作。Apache MINA 2.0 已经提供了一系列支持不同协议的 I/O 服务，如 TCP/IP、UDP/IP、串口和虚拟机内部的管道等。我们也可以实现自己

2013-12-12 14:07:44 1610

原创 Mina TCP服务端客户端示例

服务端代码：package minaT3;import java.io.IOException;import java.net.InetSocketAddress;import org.apache.mina.core.buffer.IoBuffer;import org.apache.mina.core.service.IoHandlerAdapter;import org.a

2013-12-12 12:02:29 1041

原创 JAVA的Mina框架传递对象——一劳永逸（转载）

接触java的Mina框架已经有很多时间了，在网上也读过了很多的相关文章，发现Mina框架的确是一个值得拿来好好研究的东西，前些日子写了一个山寨QQ项目，其中的通信部分用到了java中自带的InputStream，OutputStream，Writer，Reader等等，感觉其中的很大的一个问题就是难以将事务处理的逻辑层与解析层分离开来，造成整个项目看起来比较臃肿，繁琐，不够模块化，接触Mina后

2013-12-12 10:30:40 821

原创 java学习——mina篇

mina是对nio的具体实现。是目前比较高效和流行的nio框架了。下面是对使用mina进行通讯的一个简单demo，后面再用mina写一个RPC的简单框架。mina主要包括：(使用的mina版本为2.0.0.M4 core，具体可见官方网站 )mina也分服务端和客户端(这是肯定的...)其中服务端为：NioSocketAcceptor客户端为：NioSock

2013-12-11 16:33:20 787

原创高性能Java网络框架 MINA

Apache MINA(Multipurpose Infrastructure for Network Applications) 是 Apache 组织一个较新的项目，它为开发高性能和高可用性的网络应用程序提供了非常便利的框架。当前发行的 MINA 版本支持基于 Java NIO 技术的 TCP/UDP 应用程序开发、串口通讯程序（只在最新的预览版中提供），MINA 所支持的功能也在进一步的扩展

2013-12-11 15:35:42 1257

原创基于MINA框架快速开发网络应用程序（转）

1．MINA框架简介 MINA(Multipurpose Infrastructure for Network Applications)是用于开发高性能和高可用性的网络应用程序的基础框架。通过使用MINA框架可以可以省下处理底层I/O和线程并发等复杂工作，开发人员能够把更多的精力投入到业务设计和开发当中。MINA框架的应用比较广泛，应用的开源项目有Apache Directory、Async

2013-12-11 14:07:54 711

转载 Linux 操作

正在运行的内核和系统信息# uname -a # 获取内核版本（和BSD版本）# lsb_release -a # 显示任何 LSB 发行版版本信息# cat /etc/SuSE-release # 获取 SuSE 版本# cat /etc/debian_version

2013-12-10 15:47:43 2768

原创 java NIO（转）

http://www.cnblogs.com/rollenholt/archive/2011/09/29/2195730.html接上次写的《java IO整理》http://www.cnblogs.com/rollenholt/archive/2011/09/11/2173787.html这次是关于java nio,有一些重复的发的地方。本文中的源代码可以在此处下载，下载

2013-12-10 15:32:46 554

原创 java中的IO整理（转）

http://www.cnblogs.com/rollenholt/archive/2011/09/11/2173787.html （不错的blog）写在前面：本文章基本覆盖了java IO的全部内容，java新IO没有涉及，因为我想和这个分开，以突出那个的重要性，新IO哪一篇文章还没有开始写，估计很快就能和大家见面。照旧，文章依旧以例子为主，因为讲解内容的java书很多了，我觉的

2013-12-10 15:11:05 682

原创 Java NIO 简单例子

服务器端：package nioT;import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;import java.n

2013-12-10 14:22:25 4317

转载 java nio 开发实例[转]

最近一直在研究java nio，提出一点浅见，希望能和大家分享！！！废话不多说了，直接进入主题！首先了解下所谓的java nio是个什么东西！传统的并发型服务器设计是利用阻塞型网络I/O 以多线程的模式来实现的，然而由于系统常常在进行网络读写时处于阻塞状态，会大大影响系统的性能；自Java1. 4 开始引入了NIO(新I/O) API，

2013-12-10 12:08:39 786

原创 Java NIO API详解 (转)

NIO API 主要集中在 java.nio 和它的 subpackages 中： java.nio定义了 Buffer 及其数据类型相关的子类。其中被 java.nio.channels 中的类用来进行 IO 操作的 ByteBuffer 的作用非常重要。 java.nio.channels定义了一系列处理 IO 的 Channel 接口以及这些接口在文件系统和网络通讯上

2013-12-10 12:06:28 609

原创 Java NIO原理和使用

Java　NIO非堵塞应用通常适用用在I/O读写等方面，我们知道，系统运行的性能瓶颈通常在I/O读写，包括对端口和文件的操作上，过去，在打开一个I/O通道后，read()将一直等待在端口一边读取字节内容，如果没有内容进来，read()也是傻傻的等，这会影响我们程序继续做其他事情，那么改进做法就是开设线程，让线程去等待，但是这样做也是相当耗费资源的。Java NIO非堵塞技术实际是采取React

2013-12-09 18:15:46 582

转载 JAVA NIO 简介

1. 基本概念IO 是主存和外部设备 ( 硬盘、终端和网络等 ) 拷贝数据的过程。 IO 是操作系统的底层功能实现，底层通过 I/O 指令进行完成。所有语言运行时系统提供执行 I/O 较高级别的工具。 (c 的 printf scanf,java 的面向对象封装 )2. Java 标准 io 回顾Java 标准 IO 类库是 io 面向对象的一种抽象。基于本地方法的底层

2013-12-09 18:12:16 558

转载 Java Socket实战之七使用Socket通信传输文件

本文地址：http://blog.csdn.net/kongxx/article/details/7319410Java Socket实战之一单线程通信Java Socket实战之二多线程通信Java Socket实战之三传输对象Java Socket实战之四传输压缩对象Java Socket实战之五使用加密协议传输对象Java Soc

2013-12-09 17:06:44 541

转载 Java Socket实战之六使用NIO包实现Socket通信

本文地址：http://blog.csdn.net/kongxx/article/details/7288896Java Socket实战之一单线程通信Java Socket实战之二多线程通信Java Socket实战之三传输对象Java Socket实战之四传输压缩对象Java Socket实战之五使用加密协议传输对象前面几篇文章介绍了使

2013-12-09 15:50:21 562

转载 Java Socket实战之五使用加密协议传输对象

本文地址：http://blog.csdn.net/kongxx/article/details/7259837Java Socket实战之一单线程通信Java Socket实战之二多线程通信Java Socket实战之三传输对象Java Socket实战之四传输压缩对象前面几篇博文提到了Socket中一些常用的用法，但是对于一些有安全要求的应用就需

2013-12-09 15:15:56 511

转载 Java Socket实战之四传输压缩对象

本文地址：http://blog.csdn.net/kongxx/article/details/7259834Java Socket实战之一单线程通信Java Socket实战之二多线程通信Java Socket实战之三传输对象上一篇文章说到了用Java Socket来传输对象，但是在有些情况下比如网络环境不好或者对象比较大的情况下需要把数据对象进行压缩然后

2013-12-09 14:44:55 508

转载 Java Socket实战之三传输对象

本文地址：http://blog.csdn.net/kongxx/article/details/7259827Java Socket实战之一单线程通信Java Socket实战之二多线程通信前面两篇文章介绍了怎样建立Java Socket通信，这一篇说一下怎样使用Java Socket来传输对象。首先需要一个普通的对象类，由于需要序列化这个对象以便在网

2013-12-09 14:22:37 582

转载 Java Socket实战之二多线程通信

本文地址：http://blog.csdn.net/kongxx/article/details/7259465Java Socket实战之一单线程通信上一篇文章说到怎样写一个最简单的Java Socket通信，但是在上一篇文章中的例子有一个问题就是Server只能接受一个Client请求，当第一个Client连接后就占据了这个位置，后续Client不能再继续连接，所以需要做些改

2013-12-09 14:05:46 520

转载 Java Socket实战之一单线程通信

本文地址：http://blog.csdn.net/kongxx/article/details/7259436现在做Java直接使用Socket的情况是越来越少，因为有很多的选择可选，比如说可以用spring，其中就可以支持很多种远程连接的操作，另外jboss的remoting也是不错的选择，还有Apache的Mina等等，但是在有些时候一些特殊情况仍然逃脱不了直接写Socket

2013-12-09 14:04:05 550

原创 Java动态代理（转）

没事的时候翻看lang.reflect包下的代码，发现有两部分内容:涉及反射和动态代理。很多地方都可以看到动态代理的影子，只是一直没仔细看下。在学习之前，先提出几个问题，带着问题来看代码: 1.什么是动态代理? 2.为什么使用动态代理? 3.使用它有哪些好处? 4.哪些地方需要动态代理? 熟悉设计模式的人对于

2013-12-09 13:14:11 541

原创 java动态代理学习笔记

没事的时候翻看lang.reflect包下的代码，发现有两部分内容:涉及反射和动态代理。很多地方都可以看到动态代理的影子，只是一直没仔细看下。在学习之前，先提出几个问题，带着问题来看代码: 1.什么是动态代理? 2.为什么使用动态代理? 3.使用它有哪些好处? 4.哪些地方需要动态代理? --------------------分隔线----------

2013-12-09 11:58:16 525

原创 java 动态代理深度学习(Proxy,InvocationHandler),含$Proxy0源码（转）

java 动态代理深度学习,一.相关类及其方法:java.lang.reflect.Proxy,Proxy 提供用于创建动态代理类和实例的静态方法.newProxyInstance()返回一个指定接口的代理类实例，该接口可以将方法调用指派到指定的调用处理程序(详见api文档)java.lang.reflect.InvocationHandler,Invo

2013-12-09 11:50:07 577

原创 Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】 (转)

目录[-]（一）hadoop 相关安装部署（二）hive（三）pig（四）hadoop原理与编码（五）数据仓库与挖掘（六）Oozie工作流（七）HBase（八）flume（九）sqoop（十）ZooKeeper（十一）NOSQL（十二）Hadoop 监控与管理（十三）Storm（十四）YARN & Hadoop 2.0附：

2013-12-06 14:28:22 1937

原创 Linux查看系统信息的一些命令及查看已安装软件包的命令（转)

系统# uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv

2013-12-06 11:02:47 641