- 博客(4)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 RPC学习总结
因为hadoop实现的集群之间的数据是通过网络来进行传输的，hadoop的整个体系结构就是构建在RPC之上的(见org.apache.hadoop.ipc)。这里对RPC做一个浅显的学习总结RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模
2017-04-15 19:17:07
361
原创 MapReduce学习总结
MapReduce是一种分布式计算框架，又称并行计算框架，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，这里用户只需要实现map()和reduce()两个函数，即可实现分布式计算，听起来是不是感觉很简单的样子如果要对MR有更深入的了解，就需要对MR的执行流程有更深入的了解了。这里先对MR执行流程做一个理论的介绍，之后举例论证这些流程，最后代码实现。MR
2017-04-15 19:03:57
5440
原创 HDFS学习总结
这里主要介绍HDFS的shell操作指令，关于HDFS理论知识，请参看hadoop基础理论知识章节HDFS的shell操作指令HDFS对文件操作些许JAVA API1.读取HDFS系统下的文件内容2.从linux上传文件到HDFS3.从HDFS下载文件到linux4.删除HDFS文件5.浏览HDFS文件夹6.创建HDFS文件夹
2017-04-15 17:57:29
809
原创 hadoop集群安装
通过创建多个虚拟机来模拟实现hadoop的集群安装。现创建了三个虚拟机，主机名分别为hadoop0,hadoop1,hadoop2。现选中hadoop0作为集群主节点，hadoop1、hadoop2作为从节点。在hadoop0上运行Java进程NameNode、JobTracker、SecondaryNameNode(可以放到从节点上运行)，从节点(hadoop1、hadoop2)运行Java进程
2017-04-15 17:31:33
245
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人