学习
文章平均质量分 84
此id已存在
为了那些得不到的努力
展开
-
Hadoop和我们生活映射对比学习
本篇文章作为分享心得体会!!!未经同意不得转载author 杨少大家都知道现在已经进入了一个Data时代,也就是数据时代。然而为什么促使着Hadoop的产生呢????现在不管是软件app也好,哪怕是网站访问量使用量来说,用户的量是相当大的。这样一来这么庞大的数据日积月累就会引发一个存储问题。这也就是我们大数据要解决的问题:对大量数据的一个存储问题 而这些数据我们存储过...原创 2018-10-23 17:27:14 · 180 阅读 · 0 评论 -
史上最详细的Hadoop环境搭建,从0开始,图解全部过程
Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目...原创 2018-12-11 00:19:08 · 5616 阅读 · 1 评论 -
Hadoop大数据平台架构与实践
什么是Apache Hadoop?1 定义和特性可靠的、可扩展的、分布式计算开源软件。Apache Hadoop软件库是一个框架,允许使用简单的编程模型,在计算机集群分布式地处理大型数据集。它可以从单个服务器扩展到数千台机器,每个机器都提供本地计算和存储。每一台计算机都容易出现故障,库本身的目的是检测和处理应用层的故障,因此在一组计算机上提供高可用性服务,而不是依靠硬件来提供高...原创 2018-12-23 15:10:41 · 252 阅读 · 0 评论 -
走进大数据 | 深入理解Apache Flink核心技术
Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性,希望能够帮助读者对Flink有更加深入的了解,对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解,同时熟悉流处理与批处理的基本概念。 ...原创 2018-12-23 15:26:21 · 540 阅读 · 0 评论 -
如何快速清理 Docker 无用资源
如果经常使用 docker,你会发现 docker 占用的资源膨胀很快,其中最明显也最容易被察觉的应该是对磁盘空间的占用。本文将介绍如何快速的清理 docker 占用的系统资源,具体点说就是删除那些无用的 镜像、容器、网络和数据卷。 查看 docker 占用的资源在进行资源清理之前我们有必要搞清楚 docker 都占用了哪些系统的资源。这需要综合使用不同的命令来完成。 dock...原创 2018-12-23 15:30:10 · 233 阅读 · 0 评论