![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 89
卷毛迷你猪
不说啦都是泪
展开
-
1.2 Hadoop概述
通过前一篇帖子的介绍,特别是问题思考部分的说明,我们大致能够感受到为何需要新的技术体系来解决大数据问题,接下来咱们继续梳理细节。step_0 传统方案既贵又搞不定大数据问题。(1)传统数据的处理模式:用户+集中式系统+关系型数据库优点是架构相对简单,但缺陷也十分明显:1)集中式的存储,集中式的计算,中心系统的工作十分繁忙。2)随着数据和业务的不断增长,往往需要购置更高配置的设备来满足这些需求。关键在于:高配置的机器好贵的!!!配套设施好贵的!!!维护人工好贵的!!!原创 2024-01-08 13:45:15 · 1227 阅读 · 0 评论 -
1.1 理解大数据(2)
step_0 大数据定义【《大数据算法设计分析》】:通常来讲大数据(Big Data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。对这段定义的理解重点在加粗的两处:(1)“一定时间范围内”:这半句话其实揭示了一个事实,即很多大数据问题不是无法求解,而是无法在有限时间内高效的求解!==> 若非要上升到理论视角,那就是NP问题的讨论。原创 2023-12-29 19:30:38 · 968 阅读 · 0 评论 -
1.1 理解大数据(1)
e.g6:全国铁路5T系统每天采集90.3TB(1TB≈1021B)的图片、2.1TB温度数据、15.6TB的音频数据、3.8TB的运行状态数据,每年产生总计40.8PB的数据。(3)我们在学习一门新技术时,应该静下心来,寻找内在演化规律,才能抓住本质,切莫人云亦云,仅看他人的读书笔记或者简化版教程往往会成为半吊子,也是典型的中式苏俄学习法的弊端。【结论】面对海量数据的存储和计算,以往的处理手段不再有效,需要重新思考解决问题的方案,甚至整理出一套的理论去指导如何进行可靠的大数据存储和高校的大数据计算。原创 2023-12-28 21:13:21 · 953 阅读 · 0 评论 -
小肥柴的Hadoop之旅
从门外汉边学边上课,到入门的菜鸡,对如何正确的学习Hadoop有了一点点自己的理解和感想,遂做成一个教程方便同学们在线学习(努力避免误人子弟),同时与网友们分享交流。(2)学习Hadoop要有较为扎实的Java语言、数据结构与算法、计算机网络、软件工程(特别是各种设计模式)和操作系统基础知识,能做到心中有概念,现学现用即可。(4)多看源码、多思考、多验证、多练习;【声明】我的博客内容是参考了《Hadoop权威指南》和《马士兵版Hadoop》教程的内容,根据个人的理解分享的知识,如有侵权,请及时联系本人。原创 2023-12-28 13:29:33 · 795 阅读 · 0 评论