Hadoop

已于 2023-08-28 23:42:25 修改
阅读量1k 收藏
点赞数 1
文章标签： hadoop 大数据 分布式
于 2023-08-27 10:41:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40967086/article/details/132509680
版权

阅读前请看一下：我是一个热衷于记录的人，每次写博客会反复研读，尽量不断提升博客质量。文章设置为仅粉丝可见，是因为写博客确实花了不少精力。希望互相进步谢谢！！

文章目录


提示：以下是本篇文章正文内容

1、课程简介

在这里插入图片描述

2、概论

2.1、大数据的概念

在这里插入图片描述

2.2、大数据的特点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3、大数据的应用场景

2.4、大数据的发展场景

2.5、大数据的未来工作内容

在这里插入图片描述
在这里插入图片描述

3、知识体系（框架）

在这里插入图片描述

4、概念

4.1、Hadoop是什么

在这里插入图片描述

4.2、Hadoop发展历史

在这里插入图片描述
在这里插入图片描述

4.3、Hadoop三大发行版本

在这里插入图片描述

4.4、Hadoop的优势

在这里插入图片描述
在这里插入图片描述

4.5、Hadoop的组成（面试重点！！！）

在这里插入图片描述

4.5.1、HDFS概述

Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。

在这里插入图片描述
在这里插入图片描述

4.5.2、YARN概述

Yet Another Resource Negotiation，另一种资源协调者，是Hadoop的资源管理器。

在这里插入图片描述

4.5.3、MapReduce概述

在这里插入图片描述

4.5.4、HDFS、YARN、MapReduce关系

在这里插入图片描述

4.6、大数据技术生态体系

在这里插入图片描述

4.7、推荐系统案例

在这里插入图片描述

5、Hadoop环境准备

5.1 、模板虚拟机准备

5.1.1、VMware安装

在这里插入图片描述

5.1.2、Centos7.5软硬件安装

在这里插入图片描述
1、安装硬件：虚拟机；
2、安装软件：操作系统；

  • 1、“/boot”：刚启动电脑时分配多少资源，1g；

  • 2、“/swap”：电脑内存不够用时，硬盘虚拟成内存；

  • 3、“/”：根目录；

  • kdump：崩溃时自动备份，学习时可禁用。
    2、IP
    3、名称

5.1.3、IP和主机名配置

要配置三个IP：
在这里插入图片描述

  • 1、hadoop100
    vim /etc/sysconfig/network-scripts/ifcfg-ens33
    在这里插入图片描述

  • 2、Vmware
    在这里插入图片描述
    在这里插入图片描述

  • 3、Win10
    在这里插入图片描述

修改主机名称+映射主机名称
vim /etc/hostname
vim /etc/hosts
在这里插入图片描述
在这里插入图片描述

5.1.4、Xshell远程访问工具

5.1.5、模板虚拟机准备完成

5.2 、克隆

5.3 、按照JDK、Hadoop

6、Hadoop生产集群搭建

  1. 、本地模式
  2. 、完全分布式集群（开发和面试的重点）

、总结

码字不易，谢谢点赞！！！
码字不易，谢谢点赞！！！
码字不易，谢谢点赞！！！

一只菜得不行的鸟
关注
Hadoop安装与配置详细教程
王佳斌
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
安装Hadoop2.10.1
慕诡的博客
04-22 5202
文章目录 前言 通过在Hadoop1安装Hadoop,然后配置相应的配置文件，最后将Hadoop 所有文件同步到其他Hadoop节点。 一、集群规划 #主机名 ‘master/hadoop1’ ‘slave01/hadoop2’ ‘slave02/hadoop3’ #启动节点 Namenode Nodemanager Nodemanager Resourcemanager
【Hadoop】Windows下安装Hadoop（手把手包成功安装）
tttzzzqqq2018的博客
07-26 3万+
【实操】Windows下安装Hadoop（手把手包成功安装）
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
1、hadoop3.1.4简单介绍及部署、简单验证
alanchanchn的专栏
04-23 5万+
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
Hadoop集群搭建（超级详细）
热门推荐
qq_43650672的博客
05-07 7万+
本文略长，希望各位大佬见谅！！！ 需要的安装包：jdk-8u162-linux-x64.tar.gz（ 提取码：6k1i ）、hadoop-3.1.3.tar.gz（ 提取码：07p6 ） 1 集群规划 安装VMware，使用三台Ubuntu18.04虚拟机进行集群搭建，下面是每台虚拟机的规划： 主机名 IP 用户 HDFS YARN hadoopMaster 待定 rmc0924 NameNode、DataNode NodeManager、ResourceManager hado
Hadoop入门
weixin_58202386的博客
04-20 2882
一. 概念 二.环境准备 三.Hadoop生产集群搭建 四. 常见问题的解决方法
hadoop学习
言之。
07-04 1万+
安装 下载hadoop2.10.1(清华源) 解压 tar -zxvf hadoop.tar.gz 配置环境变量 vim /etc/profile export JAVA_HOME=... export HADOOP_HOME=... export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 如果是yum安装的java, 查看JAVA_HOME https://www.cnblogs.
Hadoop环境搭建
美国梦中国心
06-29 6897
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Hadoop 完全分布式搭建（超详细）
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
hadoop3.3.4 winutils
12-18
Hadoop是大数据处理领域的重要框架，它以分布式计算模型为基础，提供高可靠性和高扩展性的数据存储和处理能力。在Windows环境下配置和运行Hadoop通常比在Linux上更为复杂，因为Hadoop最初是为Unix-like系统设计的。...
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
基于Hadoop的电影影评数据分析
04-04
【基于Hadoop的电影影评数据分析】是一项大数据课程的大作业，旨在利用Hadoop的分布式处理能力来分析电影影评数据。Hadoop是一个由Apache软件基金会开发的开源框架，专为处理和存储大规模数据而设计。它由四个核心...
hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包
07-19
文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码)，文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层...
Hadoop三大组件之HDFS（一）
m0_58076578的博客
09-20 899
HDFS（Hadoop Distributed File System）采用主从架构，由一个NameNode（主节点）和多个DataNode（从节点）组成。NameNode负责管理数据块映射信息（如文件名、文件目录、权限、块位置等）并配置副本策略，而DataNode负责存储实际的数据块。定期从NameNode获取fsimage和edits文件，合并生成新的fsimage文件，发送回NameNode，以减小edits文件大小，防止NameNode重启时加载过多日志。较大文件块减少寻址时间，提高传输效率。
基于Hive和Hadoop的哔哩哔哩网站分析系统
图南的博客
09-27 158
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
基于Hive和Hadoop的病例分析系统
图南的博客
09-27 241
本项目是一个基于大数据技术的医疗病历分析系统，旨在为用户提供全面的病历信息和深入的医疗数据分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供准确的病历信息和深入的医疗数据分析，帮助医疗机构更好地了解患者趋势和病情发展。
SpringBoot使用EasyPoi根据模板导出word or pdf
最新发布
xingchenyv的博客
09-27 108
EasyPoi根据模板导出word or pdf
Hadoop实践指南
Hadoop in Action Hadoop in Action是《in action》系列的一本非常优秀的Hadoop教程，虽然是英文版的，但对于学习Hadoop的开发者来说非常值得推荐。本书涵盖了Hadoop的方方面面，从基本概念到高级应用，都是非常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值