hadoop理论初体验

hadoop 英文的来由百度出来是，该项目负责人小孩的一只玩具。中文可以念：海度。
我的理解是had+oop，字面上，就是有的呀，表示海量存储的意思么？

很长时间来，自从接触了java，其实接触java是在学校的时候，大二上学期的选修课，很后悔没有选择计算机专业，当时是一位女老师教课，也是本校的博士，人很好，课本很厚，讲课速度很快，作业不算多，但是大学时候压根没有什么良好的心态，自我感觉很浮躁，没有静心学习一些有趣的知识，直到毕业工作之后才意识到，但是已经错过了好几年的时光，比起同龄人来说，自己已经落后了几年了。java的学习是毕业后工作了两年之后的事，在国企呆着很无聊，又没什么存款，于是开始了软件改变人生的计划，然后自学了一段时间，感觉裸辞国企之后，下深圳广州，没有项目经验就凑合报了个网培，其实很后悔，培训的收获还不如自己学来得划算。然后就有了现在对hadoop的自学念头，这个打算是在大数据刚在国内流行的时候就有的了，只是没有时间去专注hadoop开发和使用，主要把精力放在java的开发工作上了。现在计划一边把java核心掌握熟练，并利用时间学下hadoop，这样给自己以后的路多一个选择。

hadoop 就是一个对大型文件数据的存储和计算，并得出想要的结果。这是我自己的定义。由此而产生的周边生态是多样的，比如 yarn，spark，scala，hive，kafa等。

hadoop的整体骨架: 从下到上：
hdfs–yarn/其他–mapreduce|其他

这是一个宗旨。其他的工具都是从这里某一个环节开始衍生的。

我们来讲hdfs。
当我们有很多数据的时候，这些数据可能是我们日常自己手机产生的，也可能是我们从其他兄弟姐妹网站上爬取的，为了能够利用这些大量的数据，转化为我们的有用信息，我们必须对这些数据进行提取，存储，过滤，计算，获取结果，这样才能使用并指导公司的运营或者企业的产品开发等。
hdfs操作:
写的过程:下图

我们的数据在本地硬盘–上传到hdfs客户端 -hdfs暂存数据到一个块里B–达到一定量-把B的数据发送到datanode，并把datanode的id和数据一些关键信息发送给namenode保存–多个datanode，则由namenode负责复制并往下传送数据。

读：

读的过程：客户端发起读取hdfs请求–向namenode读取指定的数据信息–返回datanode信息–然后客户端就直接读取datanode的信息了。

而这里又涉及到分布式，消息队列，分布式计算等。

所以，还需要继续学习。