北邮大数据处理-CSDN博客

原创 2015年课程预告

2015年北邮研究生课程《海量数据处理中的云计算》将于2015年3月2日开课。为达到理论+实践兼顾的教学效果，2015年课程将采用MOOC+翻转课堂的形式授课。具体方式为课堂外通过本课程自有的MOOC平台学习视频、下载Docker Image进行实践操作，课堂上为小班讨论。希望能让大家既能学会Hadoop处理大数据的理论知识，还能学会其中技术组件的实际使用方法。

2015-01-29 16:52:26 599

原创博客更新迁移到新地址

欢迎大家访问北邮大数据官方博客 http://blog.sina.com.cn/u/3723597564

2014-04-01 20:26:27 957

原创 Hadoop的一些常用工具和技巧【持续更新】

- Namenode的web UI http://127.0.0.1:50070- Datanodes的web UI http://127.0.0.1:50075- Jobracker的web UI http://127.0.0.1:50030- Tasktrackers的web UI http://127.0.0.1:5

2012-07-01 23:38:49 1828 1

原创 Windows下Cygwin环境的Hadoop安装（4）- 在Eclipse中建立hadoop开发环境

在使用hadoop的过程中，不可避免地遇到一些问题需要对hadoop代码进行改进，这就要求我们必须建立一个可修改hadoop代码的开发环境，下面的过程，我们就来建立一个基于Eclipse的hadoop开发环境。- 安装AntHadoop的编译需要Ant的支持，从这里下载并安装最新的Ant：http://ant.apache.org/bindownload.cgi。安装完成后，别忘了将

2012-07-01 23:36:14 6396 4

原创 Windows下Cygwin环境的Hadoop安装（3）- 运行hadoop中的wordcount实例遇到的问题和解决方法

在前面的步骤中，我们已经建立了hadoop环境，下面该运行一个实例了，就拿hadoop自带的wordcount练手吧。- 建立本地数据文件在我们准备的hadoop本地文件夹data下建立一个data_in文件夹，并在此文件夹下创建两个数据文件，分别是file1.txt和file2.txt。file1.txt中保存一个句子：Hello world!file2.txt中保存一个句子：I

2012-07-01 23:30:48 8227 6

原创 Windows下Cygwin环境的Hadoop安装（2）- Hadoop安装和配置

在上一步安装好cygwin环境后，下面进入hadoop安装。 - 安装JDKHadoop运行需要jdk环境，我下载了最新的jdk7u5版本（http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1637583.html）在下面的列表中选择合适的版本，我选择的是Windows X86版本。

2012-07-01 16:55:54 16416 1

原创 Windows下Cygwin环境的Hadoop安装（1）- Cygwin安装和配置

在windows下通过安装cygwin模拟linux环境，然后再安装hadoop，是一种简单方便的方式。为hadoop准备的windows下cygwin环境安装过程如下：- 下载安装文件最新的cygwin安装文件setup.exe下载地址在这里：http://cygwin.com/install.html。用最新版本的cygwin就可以，我用的是2.774版本的安装程序。- 安装cyg

2012-06-30 20:00:14 28183 8

原创 Windows下Cygwin环境的Hadoop安装（0）- 序言及步骤索引

正式的Hadoop生产环境，应该是在linux环境下部署，但是为了研究和实验方便，大家经常需要在自己常用的windows工作环境下安装hadoop。在windows下运行hadoop，通常有两种方式：一种是用VM方式安装一个linux操作系统，这样基本可以实现全linux环境的hadoop运行；另一种是通过cygwin模拟linux环境。后者的好处是使用比较方便，安装过程也简单。因为我是打算快速安

2012-06-30 10:21:46 7741

原创开篇

最近确定了下一步的研究方向：海量数据处理与云计算（Big Data and Cloud Computing）。古人说得好：纸上得来终觉浅，绝知此事要躬行（如果有兴趣想知道是哪位古人说的，请猛击这里http://baike.baidu.com/view/1929030.htm），经过近1个月的纸上谈兵，最近开始进入动手实践阶段。在这个过程中，通过万能的古哥和度娘，获取了不少前人的经验，很多困扰的问题

2012-06-29 22:44:46 1119

liu_jason的专栏