![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
qq_44658961
静下心来 沉淀
展开
-
Hadoop (四) ——MapReduce 的原理+实现
MapReduce简介 MapReduce是一种编程模型,用于大规模数据集的并行运算。概念"Map(映射)“和"Reduce(归约)”,是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。 mapreduce是hadoop中一个批原创 2020-11-08 12:27:09 · 751 阅读 · 0 评论 -
Hadoop (三) ——HDFS完全分布式部署
实验背景: 192.168.122.101 namenode 192.168.122.102 dadanode 192.168.122.103 datanode 192.168.122.104 datanode 关闭几台主机的火墙,selinx nfs的实现 如何让新加的结点,同步之前结点的数据? 1.首先关闭之前的伪分布式 [ha@server1 hadoop]$ sbin/stop-dfs.sh Stopping namenodes on [server1] Stopping datanodes原创 2020-11-07 20:06:25 · 299 阅读 · 1 评论 -
Hadoop(二) —— HDFS单机版部署+伪分布式的部署
单机版的部署 软件下载 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz 实验环境: 192.168.122.101 server1 实验步骤: 创建普通用户 [root@server1 ~]# useradd ha [root@server1 ~]# su - ha 安装java环境 [root@server1 ha]# rpm -ivh jdk-8u171-linux-x64.rpm原创 2020-11-07 14:36:59 · 373 阅读 · 1 评论 -
Hadoop (一) ——hadoop基础知识
hadoop的应用场景 在线旅游:目前全球范围内80%的在线旅游网站都是在使用Cloudera公司提供的Hadoop发行版,其中SearchBI网站曾经报道过的Expedia也在其中。 移动数据:Cloudera运营总监称,美国有70%的智能手机数据服务背后都是由Hadoop来支撑的,也就是说,包括数据的存储以及无线运营商的数据处理等,都是在利用Hadoop技术。 电子商务:这一场景应该是非常确定的,eBay就是最大的实践者之一。国内的电商在Hadoop技术上也是储备颇为雄厚的。 能源开采:美国Che原创 2020-11-07 09:39:28 · 881 阅读 · 0 评论