- 博客(3)
- 收藏
- 关注
原创 HDFS是什么?
Distributed File System:数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。通透性。让实际上是通过网络来访问文件的动作,由程序
2015-04-10 18:39:57
709
原创 MapReduce是什么?
◆MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题.◆MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单。◆这两个函数的形参是key、value对,表示函数的输入信息。1. map任务处理1.1 读取输入文件内容,解析成key、value对。对
2015-04-10 18:39:44
546
原创 hadoop伪分布搭建的步骤
1.1 设置ip地址执行命令:service network restart验证:ifconfig1.2 关闭防火墙执行命令:service iptables stop验证:service iptables status1.3关闭防火墙的自动运行执行命令:chkconfig iptables off验证:chkconfig --lis
2015-04-10 18:39:09
403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人