yuan_xw的专栏

使用java客户端, kafka-producer, kafka-consumer进行kafka的连接 注: 0.10 版本之后, 连接kafka只需要brokerip即可, 不需要zookeeper的信息

利用JAVA中的ClassLoader实现热部署

mysql数据库商品表、品牌和品牌分类表数据，该数据完全是个人自己创建的数据。

input_data.txt 用户数据

Hadoop 自定义 Partitioner 实现

Hadoop 自定义 Partitioner 源代码

Hadoop 自定义 Partitioner 实现

前　言 第一部分　环境准备 第1章　源代码环境准备 1.1　什么是Hadoop 1.1.1　Hadoop简史 1.1.2　Hadoop的优势 1.1.3　Hadoop生态系统 1.2　准备源代码阅读环境 1.2.1　安装与配置JDK 1.2.2　安装Eclipse 1.2.3　安装辅助工具Ant 1.2.4　安装类UNIX Shell环境Cygwin 1.3　准备Hadoop源代码 1.3.1　下载Hadoop 1.3.2　创建Eclipse项目 1.3.3　Hadoop源代码组织 1.4　小结 第二部分　Common的实现 第2章　Hadoop配置信息处理 2.1　配置文件简介 2.1.1　Windows操作系统的配置文件 2.1.2　Java配置文件 2.2　Hadoop Configuration详解 2.2.1　Hadoop配置文件的格式 2.2.2　Configuration的成员变量 2.2.3　资源加载 2.2.4　使用get*和set*访问设置配置项 2.3　Configurable接口 2.4　小结 第3章　序列化与压缩 3.1　序列化 3.1.1　Java内建序列化机制 3.1.2　Hadoop序列化机制 3.1.3　Hadoop序列化机制的特征 3.1.4　Hadoop Writable机制 3.1.5　典型的Writable类详解 3.1.6　Hadoop序列化框架 3.2　压缩 3.2.1　Hadoop压缩简介 3.2.2　Hadoop压缩API应用实例 3.2.3　Hadoop压缩框架 3.2.4　Java本地方法 3.2.5　支持Snappy压缩 3.3　小结 第4章　Hadoop远程过程调用 4.1　远程过程调用基础知识 4.1.1　RPC原理 4.1.2　RPC机制的实现 4.1.3　Java远程方法调用 4.2　Java动态代理 4.2.1　创建代理接口 4.2.2　调用转发 4.2.3　动态代理实例 4.3　Java NIO 4.3.1　Java基本套接字 4.3.2　Java NIO基础 4.3.3　Java NIO实例：回显服务器 4.4　Hadoop中的远程过程调用 4.4.1　利用Hadoop IPC构建简单的分布式系统 4.4.2　Hadoop IPC的代码结构 4.5　Hadoop IPC连接相关过程 4.5.1　IPC连接成员变量 4.5.2　建立IPC连接 4.5.3　数据分帧和读写 4.5.4　维护IPC连接 4.5.5　关闭IPC连接 4.6　Hadoop IPC方法调用相关过程 4.6.1　Java接口与接口体 4.6.2　IPC方法调用成员变量 4.6.3　客户端方法调用过程 4.6.4　服务器端方法调用过程 4.7　Hadoop IPC上的其他辅助过程 4.7.1　RPC.getProxy()和RPC.stopProxy() 4.7.2　RPC.getServer()和Server的启停 4.8　小结 第5章　Hadoop文件系统 5.1　文件系统 5.1.1　文件系统的用户界面 5.1.2　文件系统的实现 5.1.3　文件系统的保护控制 5.2　Linux文件系统 5.2.1　Linux本地文件系统 5.2.2　虚拟文件系统 5.2.3　Linux文件保护机制 5.2.4　Linux文件系统API 5.3　分布式文件系统 5.3.1　分布式文件系统的特性 5.3.2　基本NFS体系结构 5.3.3　NFS支持的文件操作 5.4　Java文件系统 5.4.1　Java文件系统API 5.4.2　URI和URL 5.4.3　Java输入输出流 5.4.4　随机存取文件 5.5　Hadoop抽象文件系统 5.5.1　Hadoop文件系统API 5.5.2　Hadoop输入输出流 5.5.3　Hadoop文件系统中的权限 5.5.4　抽象文件系统中的静态方法 5.5.5　Hadoop文件系统中的协议处理器 5.6　Hadoop具体文件系统 5.6.1　FileSystem层次结构 5.6.2　RawLocalFileSystem的实现 5.6.3　ChecksumFileSystem的实现 5.6.4　RawInMemoryFileSystem的实现 5.7　小结 第三部分　Hadoop分布式文件系统 第6章　HDFS概述 6.1　初识HDFS 6.1.1　HDFS主要特性 6.1.2　HDFS体系结构 6.1.3　HDFS源代码结构 6.2　基于远程过程调用的接口 6.2.1　与客户端相关的接口 6.2.2　HDFS各服务器间的接口 6.3　非远程过程调用接口 6.3.1　数据节点上的非IPC接口 6.3.2　名字节点和第二名字节点上的非IPC接口 6.4　HDFS主要流程 6.4.1　客户端到名字节点的文件与目录操作 6.4.2　客户端读文件 6.4.3　客户端写文件 6.4.4　数据节点的启动和心跳 6.4.5　第二名字节点合并元数据 6.5　小结 第7章　数据节点实现 7.1　数据块存储 7.1.1　数据节点的磁盘目录文件结构 7.1.2　数据节点存储的实现 7.1.3　数据节点升级 7.1.4　文件系统数据集的工作机制 7.2　流式接口的实现 7.2.1　DataXceiverServer和DataXceiver 7.2.2　读数据 7.2.3　写数据 7.2.4　数据块替换、数据块拷贝和读数据块检验信息 7.3　作为整体的数据节点 7.3.1　数据节点和名字节点的交互 7.3.2　数据块扫描器 7.3.3　数据节点的启停 7.4　小结 第8章　名字节点实现 8.1　文件系统的目录树 8.1.1　从i-node到INode 8.1.2　命名空间镜像和编辑日志 8.1.3　第二名字节点 8.1.4　FSDirectory的实现 8.2　数据块和数据节点管理 8.2.1　数据结构 8.2.2　数据节点管理 8.2.3　数据块管理 8.3　远程接口ClientProtocol的实现 8.3.1　文件和目录相关事务 8.3.2　读数据使用的方法 8.3.3　写数据使用的方法 8.3.4　工具dfsadmin依赖的方法 8.4　名字节点的启动和停止 8.4.1　安全模式 8.4.2　名字节点的启动 8.4.3　名字节点的停止 8.5　小结 第9章　HDFS客户端 9.1　认识DFSClient 9.1.1　DFSClient的构造和关闭 9.1.2　文件和目录、系统管理相关事务 9.1.3　删除HDFS文件目录的流程 9.2　输入流 9.2.1　读数据前的准备：打开文件 9.2.2　读数据 9.2.3　关闭输入流 9.2.4　读取HDFS文件数据的流程 9.3　输出流 9.3.1　写数据前的准备：创建文件 9.3.2　写数据：数据流管道的建立 9.3.3　写数据：数据包的发送 9.3.4　写数据：数据流管道出错处理 9.3.5　写数据：租约更新 9.3.6　写数据：DFSOutputStream.sync()的作用 9.3.7　关闭输出流 9.3.8　向HDFS文件写入数据的流程 9.4　DistributedFileSystem的实现 9.5　HDFS常用工具 9.5.1　FsShell 9.5.2　DFSAdmin 9.6　小结

Scala是一门以Java虚拟机（JVM）为目标运行环境并将面向对象和函数式编程语言的最佳特性结合在一起的编程语言。你可以使用Scala编写出更加精简的程序，同时充分利用并发的威力。由于Scala运行于JVM之上，因此它可以访问任何Java类库并且与Java框架进行互操作。本书从实用角度出发，给出了一份快速的、基于代码的入门指南。Horstmann以“博客文章大小”的篇幅介绍了Scala的概念，让你可以快速地掌握和应用。实际上手的操作，清晰定义的能力层次，从初级到专家级，全程指导。 《快学Scala》适合有一定的Java编程经验、对Scala感兴趣，并希望尽快掌握Scala核心概念和用法的开

《精通正则表达式(第3版)》主要讲解了正则表达式的特性和流派、匹配原理、优化原则、实用诀窍以及调校措施，并详细介绍了在Perl、Java、.NET、PHP中正则表达式的用法。

该项目是在以为mysql数据库为例，以java程序实现连接数据库数！

使用JUnit，主要都是通过继承TestCase类别来撰写测试用例，使用testXXX()名称来撰写单元测试。 * JUnit可以大量减少Java代码中程序错误的个数，JUnit是一种流行的单元测试框架，用于在发布代码之前对其进行单元测试。

mysql驱动（mysql-connector-java-3.1.12-bin.jar）用于Java程序连接mysql数据库

jQuery EasyUI是一组基于jQuery的UI插件集合，而jQuery EasyUI的目标就是帮助web开发者更轻松的打造出功能丰富并且美观的UI界面。开发者不需要编写复杂的javascript，也不需要对css样式有深入的了解，开发者需要了解的只有一些简单的html标签。

jQuery EasyUI是一组基于jQuery的UI插件集合，而jQuery EasyUI的目标就是帮助web开发者更轻松的打造出功能丰富并且美观的UI界面。开发者不需要编写复杂的javascript，也不需要对css样式有深入的了解，开发者需要了解的只有一些简单的html标签。

Socket的概念： i. 两个Java应用程序可通过一个双向的网络通信的连接实现数据交互，这个双向链接的一端称为一个Socket。 ii. Socket通常用实现client-server连接。 iii. Java.net包中定义了两个类Socket和ServerSocket，分别用来实现双向连接的client和server端 iv. 建立组件连接时所需要的寻址信息为远程计算机的IP地址和端口号（Port number）

第一部分：走进Oracle；第二部分：SQL数据操作和查询；第三部分：子查询和常用函数；第四部分：表空间、数据库对象；第五部分：PL/SQL程序设计；第六部分：Oracle应用于.Net平台；第七部分：数据库导入导出；

Tcpmon作为apache的一个独立项目,我们可以通过tcpmon来查看用户访问网站的http交互过程及传输内容,当然对于基于http协议的SOAP客户端和SOAP服务端之间的传递的XML也可以方便查看了，包含request和response 为了使用这个程序，你需要指定一个本地端口,TCPmon会用这个端口来侦听进来的链接，目标主机就是tcpmon将侦听到的链接转接到的地方，目标端口就是链接到目标主机的通道（端口）,比如,可以发送到 www.baidu.com :80.Windows下运行tcpmon.bat,就可以看到视窗界面了选中admin 的选项卡中,在监听端口中输入想要监听的端口,点击 添加,界面中可以看到三个 输入框:侦听端口，目标主机， 目标端口.点击stop,就可以修改输入框的值.

1、 安装SVN-Client端程序。 下载地址：https://218.107.242.90:9374/svn/jnzl/tools/svn-client.msi 注：输入您的帐号和密码，即可进行登录下载。 2、 安装后，创建一个新目录，在新目录下点击右键，在弹出的菜单中选择SVN Checkout，如右图所示： 3、 在弹出的窗口中，在URL of repository中输入SVN服务器的地址信息： https://218.107.242.90:9374/svn/jnzl/ ，如下图所示: 输入完毕后点击OK按钮即可。

Ant是什么？如何开始使用Ant？Ant 的基本概念 构建脚本 构建脚本的命名 Ant的路径模式？ Ant任务

Apache Ant,是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具，大多用于Java环境中的软件开发。由Apache软件基金会所提供。

jquery-1.4.2.js里的代码是没有进行处理的原代码,适合于人们阅读与研究.

松本行弘（Matz）是日本一家开源软件公司的程序员，有15年的编程经验。在 工作中，他希望有一种比Perl强大，比Python更面向对象的语言。

面向请求驱动的struts2.Struts 是基于 Model 2 之上的，而 Model 2 是经典的 MVC（模型－视图－控制器）模型的 Web 应用变体，这个改变主要是由于网络应用的特性 --HTTP 协议的无状态性引起的。

Spring环境搭建 1、 spring依赖库 a) SPRING_HOME/dist/spring.jar b) SPRING_HOME/lib/Jakarta-commons/commons-loggin.jar c) SPRING_HOME/lib/log4j/log4j-1.2.14.jar

Struts 2 Core 2.0.6 API

正则表达式是烦琐的，但是强大的，学会之后的应用会让你除了提高效率外，会给你带来绝对的成就感。只要认真去阅读这些资料，加上应用的时候进行一定的参考，掌握正则表达式不是问题。

简介：本软件为Javascript共享教学软件，包含各种Javascript源码及演示，力求丰富易懂。 本软件1.0版本为免费版本，你可以免费使用，自由传播，但请保留其版权。 本软件制作格式：CHM，支持全文检索，可以运行在所有windows操作系统。

POI API Documentation

JQUERY优秀的JS框架，很好些的代码，稳定，速度快。你下来看看就知道了