- 博客(3)
- 收藏
- 关注
原创 HDFS是什么?
Distributed File System: 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间。 通透性。让实际上是通过网络来访问文件的动作,由程序
2015-04-10 18:39:57 710
原创 MapReduce是什么?
◆MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题. ◆MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单。 ◆这两个函数的形参是key、value对,表示函数的输入信息。 1. map任务处理 1.1 读取输入文件内容,解析成key、value对。对
2015-04-10 18:39:44 549
原创 hadoop伪分布搭建的步骤
1.1 设置ip地址 执行命令:service network restart 验证:ifconfig 1.2 关闭防火墙 执行命令:service iptables stop 验证:service iptables status 1.3关闭防火墙的自动运行 执行命令:chkconfig iptables off 验证:chkconfig --lis
2015-04-10 18:39:09 404
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人