大数据—Hadoop
初学大数据之Hadoop入门篇
代码路上的不归者_bugz
一只正在学习的菜鸟程序员
展开
-
MapReduce环境搭建以及WordCount案例
一、环境搭建(服务器主机名CentOSQ)①配置资源管理器//编辑yarn-site文件[root@CentOSQ ~]# vi /usr/hadoop-2.9.2/etc/hadoop/yarn-site.xml//加如下列配置(注意下列配置我们的主机名是什么下列的配置和我们的主机名是一致的)<!--配置MapReduce计算框架的核心实现Shuffle-洗牌--><property> <name>yarn.nodemanager.aux-serv原创 2020-11-26 01:58:57 · 912 阅读 · 0 评论 -
Hadoop(入门)简介
一 从Hadoop框架讨论大数据生态1.1 Hadoop是什么1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构2)主要解决,海量数据的 存储 和海量数据的 分析计算 问题。3)广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈1.2 Hadoop发展历史1)Lucene–Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎2)2001年年底成为apa原创 2020-11-18 21:31:05 · 429 阅读 · 0 评论 -
初学大数据之—Apache Hadoop-分析(MapReduce)
Hadoop— MapReduce概述MapReduce是一个 Hadoop 的并行计算框架,借鉴了函数式编 程思想和矢量编程。Hadoop 中是充分利用了存储节点/Data Node运行所在主机的计算资源(CPU、内存、网络、少许磁 盘)完成对任务的并行计算。Map Reduce框架会在所有的 DataNode所在的物理主机启动一个计算资源管理者Node Manager用于管理本地的计算资源,默认系统会将计算资源均 分8个等份,每个等份抽象成一个Container,该Container主要 作为资源原创 2020-10-25 21:19:27 · 669 阅读 · 0 评论 -
初学大数据之Apache Hadoop-存储
大数据之—Apache Hadoop背景随着信息化互联网|物联网发展要求,万物互联趋势势在必 行。随之引发架构的演变由单一架构向高并发分布式架构演 变。数据的存储也开始由原始的单机存储演变为分布式存储。1)JavaWeb:为了应对高并发和分布式提出的是LNMP(Linux、 Nginx、MySQL、PHP)思想。2)海量数据存储|数据分析 :存储方案(HDFS)、计算方案 (Map Reduce、Storm 、 Spark 、 Flink)大数据背景分布式:服务间出现跨机器、跨进程通信原创 2020-10-18 17:00:48 · 848 阅读 · 1 评论 -
Hadoop的完整安装(以及网盘资料)
## Hadoop安装(初次学习经验不足之处望留言指教)环境工具(VMware、MobaXterm、CentOS7、JDK8、Hadoop2.9.2)所需工具环境都在此链接中可以进行提取链接:https://pan.baidu.com/s/1VCXtS6fm6YvHMtBFrgNx6Q提取码:xpgu一、 VMware的安装 在上述链接中有详细的安装流程在这里补充一下安装系统镜像后设置IP的办法(我这里用的是自动获取动态IP)配置完成后安装MobaXterm工具对虚拟机进行操作创建se原创 2020-09-26 17:41:45 · 2057 阅读 · 0 评论