生命不息 奋斗不止

第1篇知道Hadoop 后，我们开始了下一步的征程，把大量精力投入到Hadoop的研究中。Hadoop、MapReduce、HDFS、HBase等名词充斥着大脑。在之后的一周里，我面对着这些陌生的名词，经常彻夜难以入眠，一躺下，大脑皮层就开始活动，飘出朵朵白云，一定是因为天天看“云存储”、“云计算”等一些词。尽管时至今日，我仍然没有弄懂它们，但是还是要将工作进行下去，研究一周无果后，我们又去找

第2篇终于从老师那得到了一些思路，不至于像无头苍蝇一样漫无目的。第一步：搭建开发环境万事开头难，搭建开发环境尤甚，搭建环境用了我们一周的时间，才勉强将它搭好。1. 安装Ubuntu由于Hadoop带有用Java语言编写的框架，适合运行在Linux平台上，本来是准备在win7上配置unix环境的，但最后还是决定装一个linux系统，一来感觉比较稳定，二来也是想尝试一下li

写在前面的话时间飞快，转眼间，Hadoop云盘开发已经接近尾声，尽管还有许多不如人意的方面，但是已经完成了项目的基本功能。不管最终的比赛结果如何，我始终相信那句话：“尽心则无悔。”在这不到两个月的开发中，我始终享受着整个过程，只有真正付出努力的人，才能体会那种调完所有Bug，实现预期功能的兴奋、满足和感动。今天，当我重新回首这两个月里的每一天，发现了自己的经历和成长。对待问题和困难的态度，对于

第3篇环境搭建完毕后，我们开始迫不急待地投入到项目的开发中。首先要解决的问题是如何在java代码中调用Hadoop HDFS Java API，对文件进行操作，包括文件的上传、下载、删除和移动等。其实这些操作并不困难，只要在网上搜一下，就有大量的例子代码，稍加修改，将相关参数改成本机的配置便可以完成。但是，在具体的实施之中，还是遇到了一些棘手的问题。我把网上下载的代码改好后，一运行就会报错。

第四篇在完成了在java程序中调用hadoop hdfs API 之后，我们开始了下一步的计划——做一个云盘（暂时不考虑加密）。这个思路其实并不复杂，就是把调用API对hdfs文件系统进行操作的java程序布置到web端，做一个简单的网站，通过网页来进行文件系统的操作。我们试着将之前写好的java程序写到servlet中，然后再在jsp网页中来调用这些servlet。思路虽然简单，但是

Hadoop安全云盘开发（第5篇）终于完成了hadoop云盘的前期制作，能够基本完成文件系统的一些功能，又要投入到加密模块的开发当中。其实，加密机制的设计在我们整个系统中是最难的，也是最重要的。系统需要一个能从web中调用本地的加密程序给文件加密的方法，不能让文件上传过后再加密。对于这样的方法我们反复想了很多，都没有找到一个比较好的方法。因为受到安全机制的限制，这种方法很难实现。这个困难把

Hadoop源码分析笔记（一）2014年4月1日 为了了解HDFS文件系统中文件上传的过程，从更深层次地了解HDFS中文件上传的数据流处理、数据分块、分包机制，我们必须对其相关的源码进行分析。整个Hadoop系统源码内容庞大，要想得到HDFS文件的上传过程的代码，我们必须从中找到一个合适的切入点。再三考虑，我认为从package org.apache.hadoop.fs中的cl

本文首先对Hadoop的分布式文件系统HDFS进行研究，通过分析其数据传输过程，设计实现一种大文件的安全传输方案，保证大文件传输过程中的安全属性。2.Hadoop分布式文件系统HDFS研究2.1HDFS体系结构HDFS由互连的节点集群组成，是一个典型的主从结构体系，主要涉及3种种实体：命名节点（NameNode，NN）,数据节点（DataNode，DN）和客户端（Client），其中...