![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 88
李Reign
新手上路
展开
-
三万字最全Docker详解(简介+组件+项目部署+Dockerfile)
Docker1、 为什么使用Docker1.1、Docker的使用场景一1.2、Docker的使用场景二1.3、Docker的使用场景三2、Docker 介绍2.1、 什么是虚拟化2.2、认识 Docker2.3、容器与虚拟机比较2.3.1 什么是虚拟机2.3.2 什么是容器2.4、 Docker与虚拟机形象比喻2.4.1 什么是物理机2.4.2 什么是虚拟机2.4.3 什么是docker3. Docker 组件3.1 Docker 服务端和客户端3.2 Docker 构架3.2.1 Docker 镜像3.原创 2021-11-17 20:10:04 · 9151 阅读 · 0 评论 -
Hadoop3.0集群搭建
Hadoop3.0集群搭建1.集群简介HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。HDFS集群负责海量数据的存储,集群中的角色主要有:NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资源调度,集群中的角色主要有:ResourceManager、NodeManager那mapreduce是什么呢?它其实是一个分布式运算编程框架,是应用程序开发包,由用户按照编程规范进行程序开发,后打包运行原创 2021-09-28 09:12:33 · 626 阅读 · 0 评论 -
Hadoop概述(含Hadoop3.0新特性)
Hadoop概述1、Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说,Hadoop指Apache这款开源框架,它的核心组件有:HDFS(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理的框架):解决资源任务调度MAPREDUCE(分布式运算编程框架):解决海量数据计算广义上来说,Hadoop通常是指一个更广泛的概念——Had原创 2021-09-27 10:49:43 · 954 阅读 · 0 评论 -
hadoop集群搭建配置参考(xml)
<!------------------------core-site.xml-------------------------------><!-- 默认文件系统的名称。通过URI中schema区分不同文件系统。--><!-- file:///本地文件系统 hdfs:// hadoop分布式文件系统 gfs://。--><!-- hdfs文件系统访问地址:http://nn_host:8020。--><property> <..原创 2021-09-26 09:35:01 · 259 阅读 · 0 评论 -
为什么要学习大数据(传统数据与大数据的对比)
传统数据与大数据的对比传统Linux系统与大数据linux系统安装的区别传统 系统硬盘(与数据硬盘100%隔离) 两块硬盘做一个RAID1 引导分区 200M 交换分区 内存的两倍 根分区 /(所有的空间) 数据硬盘 多个硬盘制作一个逻辑卷,即将多个物理硬盘制作成一个大的逻辑硬盘 大数据 系统硬盘 两块硬盘做一个RAID1 引导分区 200M 交换分区 可以不设置或设置的很小。因为在大数据中需要将其关闭 根分区 /(所有的空间) 数据硬盘原创 2020-10-08 16:21:39 · 224 阅读 · 0 评论