- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hadoop FileSystem常用API的使用
搭建好Hadoo的运行环境之后，我们可以使用eclipse，尝试使用FileSystem的API对HDFS进行文件和文件夹的操作。以下代码对FileSystem常用API进行了实践，使用Junit进行API的测试首先是创建一个普通的Java工程，并把Hadoop所依赖的包导入，主要包括hadoop/lib和hadoop的core包项目目录如下：测试用例代码：pack
2013-12-28 14:59:54
1957
原创 Sublime Text3 Java编程环境的搭建
Sublime Text3 编辑器轻量级美观的操作界面令人十分舒服，下面就讲一下怎么在这个编辑器里面搭建Java编程环境，其实在Sublime Text3中已经集成进去了Javac的编译，但是Java文件的运行则需要额外的配置。1. 你的电脑上要具备JDK的编程环境，并且已配置了PATH环境变量2.创建一个批处理的脚本名字可以任意，这里取名runJava.bat，内容如下：@E
2013-12-26 10:46:25
1407
原创 Linux下hadoop的安装
Linux下hadoop的安装其实难度不大，按照hadoop官方所提供的文档就可完成，本次实践所采用的环境如下：操作系统：Ubuntu 12.04 64位的版本JDK：1.6.0_45，64位版本Hadoop：1.2.1首先是分别下载所需的软件版本jdk-6u45-linux-x64.binhadoop-1.2.1.tar.gz1.加压hadoop的gz包t
2013-12-22 17:13:34
683
原创 使用eclipse编译生成hadoop eclipse开发插件
由于hadoop后来的版本不再直接提供eclipse的开发插件，只提供了源码，所以需要自己动手进行编译，在网上找了一些例子，自己使用起来发现都有些问题，下面根据网上参考的和自己的实践总结如下：环境：win7 64位系统hadoop版本：稳定版1.2.1eclipse版本：4.31. 首先是在apache官网上下载1.2.1版本的源码包，然后进行解压2.使用使用eclipse将源
2013-12-18 14:43:51
816
转载 Hadoop——你不得不了解的大数据工具
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到，但是他们都有什么功能，为什么会需要奇怪的名字（如Oozie，ZooKeeper、Flume）。 Hadoop带来了廉价的处理大数据（大数据的数据容量通常是10-100GB或更多，同时数据种类多种多样，包括结构化、非结构化等）的能力。但这与之前...如今Apache Hadoop已
2013-12-15 17:38:27
829
原创 一台机器双网卡连接两个子网网关配置
最近在项目中遇到一个问题，就是在一台机器上实现连接两个不同子网（内网和外网）的网络配置，在以往的配置一般都是配置好IP和网关后系统会自动默认一个网关，但是由于现在的问题是这台既要与外网通信又要与内网连接，因此就需要配置不同的网关。如何使不同的网关同时生效又不影响使用，就不能按照原先的配置方式，在每个eth配置文件中都配置网关，网关需要单独配置。由于网络配置不是我的强项，因此我就在本地开启两台lin
2013-12-04 22:11:02
6417
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人