2014年04月_skyWalker_ONLY

原创 Hadoop学习之修改Eclipse插件

之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/contrib/eclipse-plugin/src/java/o

2014-04-30 19:48:43 2946

最近准备开始学习Hadoop1.2.1的源代码，感觉最好的方法还是可以在运行Hadoop及hadoop作业时跟踪调试代码的实际执行情况。由于选择的IDE为eclipse，所以准备编译一下hadoop的eclipse插件，下面就直接进入正题。Hadoop的eclipse插件源代码位于hadoop-1.2.1/src/contrib/eclipse-plugin/中，直接进入该目录，在不做任何修改的情

2014-04-20 18:03:25 5682

原创 Java网络编程之Socket编程

Java网络编程之Socket编程URL和URLConnection类提供了相对高层次的访问网络资源的途径，但是有时程序需要低层次的网络通信，比如当编写客户端—服务器应用程序时。在一个客户端—服务器应用程序中，服务器提供了诸如处理数据查询或者发送当前股票价格的服务。客户端使用服务器提供的服务或者显示数据查询结果或者为投资者提供股票购买建议。发生在客户端和服务器之间的通信必须是可靠的，这样不会出

2014-04-16 21:20:45 4596 3

原创 Hive安装与部署

Hive简介Apache Hive是一种数据仓库，对查询和管理分布式存储中的超大数据集提供了很大帮助。Hive是基于Hadoop的，提供了以下功能：l 容易数据提取/转化/加载（ETL）的工具l 利用各种各样数据格式的结构的机制l 访问直接存储在HDFS或者其它存储系统（如HBase）上的文件l 通过MapReduce执行查询Hive定义了简单的类似SQL的查询语言

2014-04-13 22:55:31 3970

原创 Java网络编程之URL编程

URL简介URL是统一资源定位符（Uniform Resource Locator）的缩写，是对网络上资源（地址）的一个引用。资源可以是简单的文件或目录，也可以是对更为复杂的对象的引用，例如对数据库或搜索引擎的查询。下面是一个URL的例子：如上图所示，URL由两个主要部分组成：协议标示符和资源名称。协议标示符和资源名称之间由冒号和两个斜线分隔，协议标示符表示用于获取资源的协议名称，比如

2014-04-11 21:17:50 4251

原创 Java网络编程之网络基础

运行在网络上的计算或者使用TCP（传输控制协议）或者使用UDP（用户数据报协议）进行通讯，如下图所示：当你编写通过网络通信的Java程序时，就是在上图的应用层编写程序。通常情况下，自己不需要关心TCP或者UDP层，替代的是可以使用java.net包中的类。该包中的类提供了系统独立的网络通信，但是在决定程序应该使用哪些Java类时，需要理解TCP和UDP之间的区别。TCPTC

2014-04-04 10:50:11 2630

skyWalker_ONLY