![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Big Data
hijack00
天道酬勤
展开
-
基于Hadoop的大数据处理系统
目前大数据的处理平台以Hadoop为主,Hadoop是一个开源的可运行于大规模集群上的分布式文件系统和和分布式计算的基础框架,提供了对于海量数据存储以及分布式计算的支持。本报告主要包括以下几方面主题:1. 分布式计算架构及分布式计算原理概述;2. Hadoop架构及集群方式介绍;3. 基于Hadoop完全分布式集群进行演示。原创 2016-08-22 21:51:54 · 10973 阅读 · 0 评论 -
基于python开发hadoop shell
Hadoop是一个分布式计算框架,提供了一个分布式文件系统(HDFS)和一个分布式计算架构(MapReduce)的开源实现。本文通过python cmd模块开发了一个交互式hadoop shell程序,可以在一个交互式shell里调用Hadoop的常用子命令。同时shell也支持通过`!`调用shell命令。关于利用python创建一个小型交互式应用程序,参考我的博客[利用python cmd模块开发小型命令行应用原创 2016-09-05 20:01:20 · 1867 阅读 · 0 评论