![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
lihuanqing011
这个作者很懒,什么都没留下…
展开
-
分布式文件系统HDFS的结构及运行
--内容来自厦门大学林子雨教授的《大数据技术原理》课程,作为学习笔记。 分布式文件系统是大数据时代解决大规模数据存储问题的有效解决方案,HDFS开源实现了谷歌GFS,可以利用由廉价硬件构成的计算机集群实现海量数据的分布式存储; HDFS具有兼容廉价的硬件设备、流数据读写、大数据集、简单的文件模型、强大的跨平台兼容性等特点。缺点:不适合低延迟数据访问,无法高效存储大量小文件、不支持多用户写入,以...原创 2020-04-25 15:48:49 · 1359 阅读 · 0 评论 -
第一讲:大数据概述
--内容来自与厦门大学林子雨教授的《大数据技术原理》课程,作为学习笔记。 1.1大数据时代; 1.2大数据概念; 1.3大数据的影响; 1.4大数据的应用; 1.5大数据关键技术; 1.6大数据计算模式; 1.7大数据产业; 1.8大数据与云计算、物联网的关系 1.1.1第三次信息化浪潮 第一次:1980年前后 个人计算机 解决信息处理; 第二次:1995年前后...原创 2020-04-09 15:24:38 · 503 阅读 · 0 评论 -
第二讲:大数据处理架构Hadoop
--内容来自与厦门大学林子雨教授的《大数据技术原理》课程,作为学习笔记。 2.1概述 2.2Hadoop项目结构 2.3Hadoop的安装和使用 2.4Hadoop集群的部署与使用 2.1.1Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了系统底层细节透明的分布式基础架构; Hadoop是基于Java语言开发的,具有很好...原创 2020-04-11 17:51:04 · 1516 阅读 · 0 评论