![](https://img-blog.csdnimg.cn/20200722150700705.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
四.大数据生态圈
Apache Hadoop是一款支持数据密集型分布式应用程序,并且是开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。
SuperBigData~
大数据行业热爱者,欢迎交流学习,共同进步
展开
-
大数据生态圈系列(0) | 大数据核心架构
大家好,我是Jackson,是一名计算机学院大数据专业大二的学生。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!个人VX:LQ1518123002,欢迎与大家交流。前⾔过去20年,数据规模经历了指数级的爆发式增⻓,随之⽽来的是数据存储和数据计算的⼀系列挑战。bit B KB MB GB TB PB EB ZB YB...原创 2020-06-24 20:10:13 · 1558 阅读 · 0 评论 -
Hadoop快速入门系列(1) | 大数据启蒙
虽然我走得很慢,但我从不后退!目录一.What?Why?How?1.什么是大数据?(What)2.为什么要学习大数据? (Why)3.如何才能更好的学习大数据? (How)二.单机处理VS分布式处理 海量数据?需求1:我有一万个元素(比如数字或单词)需要存储?需求2:如果查找某一个元素,最简单的遍历方式复杂的是多少?需求3:如果我期望复杂度是O(4)呢?需求4:很多行,查找出相同内容的俩行需求5:如果是1T数值文件,那么如何全排序呢?需求6:对比,思考总结三.对比得出什么结论?一.What?Why?原创 2020-07-27 10:27:02 · 487 阅读 · 3 评论 -
Hadoop快速入门系列(2) | Hadoop详细介绍
生活很美好,明天很艳丽。目录一.Hadoop介绍二.主要子项目三.相关项目四.知名用户1.Hadoop在Yahoo!的应用2其他用户五.Hadoop与Sun Grid Engine六.Hadoop与Condor一.Hadoop介绍Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块原创 2020-07-27 22:59:43 · 3393 阅读 · 0 评论 -
Hadoop快速入门系列(3) | 搭建Hadoop本地模式
安装jdk 卸载现有jdk(1)查询是否安装java软件:rpm -qa|grep java结果:如下[root@bigdata111 ~]# rpm -qa|grep javajava-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64javapackages-tools-3.4.1-11.el7.noarchjava-1.7.0-ope...原创 2019-09-20 13:42:40 · 362 阅读 · 0 评论 -
Hadoop快速入门系列(4) | 搭建Hadoop伪分布式
首先要有配置文件:配置集群(表格版)集群部署规划: bigdata111是HDFS主节点 bigdata112是YARN主节点 如果HDFS和YARN没有在同一个节点上,不能使用start-all.sh这个命令 HDFS和YARN可以在在同一节点上,才能使用start-all.sh这个命令 hadoop 可以挂起,但学到HBase不能挂起了,挂起要先关闭HBase。(hbase不能...原创 2019-09-23 14:07:22 · 694 阅读 · 0 评论 -
Hadoop快速入门系列(5) | 搭建Hadoop完全分布式
hadoop 完全分布式步骤:1)克隆2台客户机(关闭防火墙、静态ip、主机名称)2)安装jdk3)配置环境变量4)安装hadoop5)配置环境变量export JAVA_HOME=/opt/mod/jdk1.8.0_144export HADOOP_HOME=/opt/mod/hadoop-2.8.4export PATH=$PATH:$JAVA_HOM...原创 2019-09-27 14:53:57 · 360 阅读 · 0 评论 -
Hadoop快速入门系列(6) | 搭建Hadoop集群扩展
Hdfs运行状态下扩展集群:目标: 已启动hdfs有bigdata111,bigdata112,bigdata113 向集群添加一个节点,bigdata114。有俩种方法:A.直接在原有的bigdata111上克隆一台 里面有hadoop安装包,jdk 等已经配置好的文件了(十分推荐这一种方法) ...原创 2019-10-10 22:33:24 · 196 阅读 · 0 评论 -
Hadoop快速入门系列(7) | Hadoop集群HA简介
HA概述1)所谓HA(high available),即高可用(7*24小时不中断服务)。2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。4)NameNode主要在以下两个方面影响HDFS集群 NameNode机器...原创 2019-11-28 08:18:32 · 423 阅读 · 0 评论 -
Hadoop快速入门系列(8) | 搭建HDFS-HA集群
一. 环境准备1)修改IP2)修改主机名及主机名和IP地址的映射3)关闭防火墙4)ssh免密登录5)安装JDK,配置环境变量等二.规划集群bigdata111 bigdata112 bigdata113NameNode...原创 2019-11-30 09:21:00 · 199 阅读 · 0 评论 -
Hadoop快速入门系列(9) | 搭建YARN-HA集群
0)环境准备(1)修改IP(2)修改主机名及主机名和IP地址的映射(3)关闭防火墙(4)ssh免密登录(5)安装JDK,配置环境变量等(6)配置Zookeeper集群1)规划集群hadoop102 hadoop103 hadoop104NameNo...原创 2019-11-30 09:33:45 · 171 阅读 · 0 评论