- 博客(4)
- 收藏
- 关注
RSS订阅原创 浅谈MapReduce经典案例之wordcount
Hadoop是由Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到由Google Lab 开发的Map/Reduce 和Google File System(GFS)的启发，而正式落地。Hadoop最核心的设计便是HDFS和MapReduce。Hadoop最底层的HDFS(Hadoop Distributed File System)是一个大型的分布式文件系统，为海量数据的存储提供了可能性及高可靠性。而其离线分布式并
2020-06-25 17:23:42
482
原创 基于CentOS-6.9+VM12的Hadoop集群搭建（2）
由于篇幅较多，采取分篇，下面开始Hadoop集群的正式搭建。修改Hadoop配置文件，SSH免密通信，克隆虚拟机，禁用防火墙1.修改Hadoop配置文件首先，进入Hadoop目录，在该目录下创建data目录，用于存放Hadoop运行时产生的文件、元数据等·接着，进入存放Hadoop配置文件目录/opt/software/hadoop/etc/hadoop：1)在core-site.xml文件中添加如下配置...
2020-06-21 11:52:56
564
原创 基于CentOS-6.9+VM12的Hadoop集群搭建
基于CentOS-6.9+VM12的Hadoop集群搭建在开始大数据正式学习的第一步，便是大数据环境的搭建，而对于从未接触过相关内容的大数据小白来说，集群的搭建确实是一件令人头疼的事。不过，遇到事情不怕事，怀着学习之心去解决困难应该是每一个人的应有品质。下面，笔者将结合自身所学，一步步带领大家从0开始到Hadoop大数据集群的完整搭建。注：假定读者已经掌握Linux相关基础命令，因为后面的内容涉及到Linux系统的操作，如果有读者还不熟悉的话，建议先了解Linux的基础命令操作，熟悉之后再回过头来
2020-06-21 11:51:42
2209
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人