大数据
文章平均质量分 95
学习笔记
lena7
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记(二):HDFS
文章目录HDFS概述HDFS组成架构HDFS文件块大小HDFS的Shell操作命令全部选项常用命令本文通过学习尚硅谷视频(https://www.bilibili.com/video/BV1F5411e79W?p=48)整理学习笔记所得。HDFS概述产生背景:随着数据量越来越大,一个操作系统存不下所有数据,因此分配到更多的操作系统中,由于数据分开存放,因此不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。定义:HDFS(H原创 2021-06-03 17:39:45 · 208 阅读 · 0 评论 -
Hadoop学习笔记(一):概述、运行模式、xsync集群分发脚本、SSH无密登录、集群时间同步
文章目录概述Hadoop1.x和Hadoop2.x区别Hadoop组成HDFS 数据存储YARN 资源调度MapReduce 计算大数据技术生态体系推荐系统项目框架概述Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。广义上来说,Hadoop通常指一个更广泛的概念——Hadoop生态圈(Hadoop、Hive…)Hadoop创始人Doug Cutting,图标来源于他儿子的玩具:飞起的大象。发展历史:Google是Hadoop的思原创 2021-05-08 21:58:36 · 433 阅读 · 1 评论