《大数据实时处理》学生学期总结

已于 2022-06-22 16:39:42 修改 445 收藏 1
分类专栏： Spark基础学习笔记 文章标签： 大数据 Spark
于 2022-06-21 13:45:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/howard2005/article/details/125389138
版权

文章目录

一、大数据工程师技能树

在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
howard2005
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
对大数据的认识.doc
12-24
对于大数据的认识和理解 这学期选修了网络工程这门课程,当时是抱着扫盲的态度选的这门课程,给自己定的目 标不高，只需要对一些基础的概念和网络结构有些认识就可以，以免以后在人前谈论的 时候不至于成为IT文盲，被一些专业性的技术人员所吓倒。事实证明，态度决定一切,由 于自己刚开始设定的目标就比较低，所以注定能够上升到的水平也就不高。 经过这几周的学习，对计算机网络的基础知识和大致结构有了一个粗浅的认识.由于 学生本身这方面的基础不扎实，知识结构在这方面比较薄弱，所以不能在技术方面进行 深入的研究,只能对一些理论性的知识做一些了解和认识，建立起大概的知识框架.在学 习过程中,魏忠老师所提及的知识中有一点印象最为深刻，关于大数据Big Data方面的提及引起了我很大的兴趣，越是自己私下里做了一些阅读和查询(主要是维克 托·迈尔- 舍恩伯格的《大数据时代》和网络上查看的一些资料）。最后提交的这篇课程总结就着重 报告一下自己在阅读了他人关于大数据的一些理论后自身的认识. 在这之前，我发现身边很多人都提起过大数据，其中包括老师和同学.可是对于这些 热门的新技术、新趋势人们往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什 么关系?估计很少同学能说出一二三来。究其原因,一是因为大家对新技术有着相同的原 始渴求，至少知其然在聊天时不会显得很"无知"，因为现在人们普遍都有以一种信息焦 虑感，别人知道的东西我不知道，就会感到焦虑，无论这些信息对你有没有用；二是在 工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间 去知其所以然。当然我也一样,虽然我希望能有些不一样，但是自己实在欠缺IT这方面的 知识，所以也只能查阅一些资料,翻阅了最新的专业书籍，在自己局限的认识下把这些些 零散的资料碎片或不同理解论述综合起来做一个类似于文献综述的报告,其实我很真诚的 希望进入事物探寻本质。下面就从理论、技术、实践这三个层面写一下大数据的认识 大数据的一些相关理论: 最早提出大数据时代到来的是麦肯锡："数据，已经渗透到当今每一个行业和业务职 能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增 长和消费者盈余浪潮的到来." 业界（IBM 最早定义）将大数据的特征归纳为4个"V"（量Volume，多样Variety，价值Value，速Ve locity)，或者说特点有四个层面:第一，数据体量巨大.大数据的起始计量单位至少是P （1000个T）、E（100万个T）或Z（10亿个T）;第二，数据类型繁多.比如，网络日志、 视频、图片、地理位置信息等等。第三，价值密度低,商业价值高。第四，处理速度快。 最后这一点也是和传统的数据挖掘技术有着本质的不同。 很早就流传着一句话:三分技术，七分数据,得数据者得天下。先不论这句话是谁说得 ,但是这句话的正确性已经不用去论证了。维克托·迈尔—舍恩伯格在《大数据时代》一书中 举了很多例证，都是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去 发掘大数据的潜在价值。书中，作者提及最多的是Google如何利用人们的搜索记录挖掘 数据二次利用价值，比如预测某地流感爆发的趋势；Amazon如何利用用户的购买和浏览 历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Fare cast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合 适。这里维克托·迈尔—舍恩伯格所认为的大数据思维是:1需要全部数据样本而不是抽样 ；2关注效率而不是精确度；3关注相关性而不是因果关系. 大数据是什么？投资者眼里是金光闪闪的两个字：资产。比如，Facebook上市时,评 估机构评定的有效资产中大部分都是其社交网站上的数据。如果把大数据比作一种产业 ，那么这种产业实现盈利的关键,在于提高对数据的"加工能力",通过"加工"实现数据的 "增值"。 大数据的一些相关技术： 1)云技术： 大数据常和云计算联系到一起，因为实时的大型数据集分析需要分布式处理框架来向 数十、数百或甚至数万的电脑分配工作。可以说，云计算充当了工业革命时期的发动机 的角色，而大数据则是电。 云计算思想的起源是麦卡锡在上世纪60年代提出的:把计算能力作为一种像水和电一 样的公用事业提供给用户。如今,在Google、Amazon、Facebook等一批互联网企业引领下 ,一种行之有效的模式出现了:云计算提供基础架构平台，大数据应用运行在这个平台上 。 业内是这么形容两者的关系：没有大数据的信息积淀,则云计算的计算能力再强大,也 难以找到用武之地；没有云计算的处理能力，则大数据的信息积淀再丰富,也终究只是镜 花水月。 那么大数据到底需要哪些云计算技术呢? 这里暂且列举一些，比如虚拟化技术,分布式处理技术，海量数据
2021最全大数据学习路线（建议收藏）
热门推荐
小林玩大数据
05-12 6万+
大数据是未来的趋势，在数字化转型时代，把握大数据是关键的！
大数据学期总结
lwmzl00的博客
06-14 549
时光如水，岁月如歌，转眼间，一学期只剩下期末考试的小尾巴了。
期末总结 —— 大数据
最新发布
zl202111的博客
12-21 1466
学期总结
大数据技术所涉及的的数学基础有哪些？
xiaokaiabcde的博客
11-26 3998
由于工作关系，在我的周围存在这两类人，一是正在学校学习的大学生，二是在IT公司从事研发设计的工程师。他们在数学学习和应用方面出现了两个极端。在校大学生，特别是大一、大二的学生每学期一些诸如数学分析、线性代数、数论之类数学课程，尽管在课堂上可以听到莱布尼茨和牛顿的纠葛故事、笛卡尔的爱情故事，但是他们往往感到很迷茫，因为不知道所学的数学知识到底有什么用。对于IT公司的研发人员来说，他们在进入大数据...
JAVA课日常总结
yxlww_的博客
06-09 116
在2020年6月6日的JAVA课上，华卫老师叫我们完成课堂练习。因为我们对课堂专业知识理解理解不到位，然后课堂上注意力不集中，我也在看着老师的博客，跟着老师敲代码，依葫芦画瓢。但是在敲到一半的时候，因为自己上课的时候没有认真听讲，老师按的键，不是特别清楚，然后思维和脑回路也不是特别清楚。alt+insert键，还要选择Genter and Senter。这个知识点在课上都没有听好，然后在练习的时候就没有熟练的操作。可能是因为我们班基本上都是普高的，然后对这些专业知识都不是很理解，还有，我们班大多数都是从小教
2020-04-28
yxlww_的博客
04-28 84
刚刚开始学习JAVA，可能都是有一点困难的。但是随着华卫老师的讲解，我们都有进步。从对JAVA完全没有了解，到了对JAVA有了一点甚至以后越来越进一步了解。在老师详细的讲解，以及课后自己的复习，预习，然后完成练习，作业。虽然我们有华卫老师带领，但是我们也应该依靠自己的自控力，自制力进一步学习。我希望华卫老师的说话语速稍微慢一点点。前路还很长，需要更加努力。 ...
大数据学习第一课：虚拟机安装配置
wangjinnan16的博客
10-31 1949
本章主要内容 VirtualBox下安装CentOS7 Minimal版本 Minimal版本Centos7静态IP网络设置 ssh免密登录设置   我们现在身处数据时代，大数据和人工智能已经逐渐渗透到我们的生活中了。这么好的一个时代岂能错过，所以希望大家能在这里学到一些知识。如果有什么错漏的地方，还请指正，谢谢。 一、虚拟机安装   万事开头难，大数据的知识体系虽
大数据——Java中异常的捕获和处理
蜂蜜柚子加苦茶
07-25 512
Java中异常的捕获和处理异常的概述认识异常Java异常体系结构Java异常处理机制异常处理使用try-catch处理异常使用try-catch-finally处理异常使用多重catch处理异常使用throws声明抛出异常使用throw抛出异常自定义异常异常处理原则总结 异常的概述 认识异常 生活中的异常 ： 正常情况下，小王每日开车去上班，耗时大约30分钟 但是，异常情况迟早要发生！ 这就是一种很常见的生活中的异常。 异常是指在程序的运行的过程中所发生的不正常事件，如所需的文件找不到、网络连接不通或连
客快物流大数据项目(三十)：软件下载后存放位置
Lansonli（蓝深李）的博客
02-07 747
软件下载后存放位置 一、虚拟机数据路径配置 创建文件夹路径 mkdir -p /export/softwares /export/services /export/datas /export/softwares/cdh-6.2.1 /export/softwares/jars /usr/java 路径名称 路径说明 /usr/java JDK安装目录 /export/sof
大数据与云计算应用
L2944426458L的博客
01-11 3420
什么是云计算 就像生活中的水、电、煤等利用着的IT资源都无时无刻的按人们自己的需求使用 而水、电、煤，这些呢是属于资源性产品 IT资源就是计算存储网络资源 云计算的定义 按需使用IT资源和应用程序，通过互联网，按使用量付费。 美国联邦云计算战略报告中，定义了四种云 公有云：提供公共的IT资源 缺点：保密性较低 私有云：提供给政府、学校等机构 优点：保密性高 社会云：提供给研究人员使用 混合云：包含以上任意两种云 生活中的例子 出行论 买车——公有云 开车...
解读JVM虚拟机
天行健，君子以自强不息；地势坤，君子以厚德载物。
10-28 41
阅读文本大概需要3分钟。概要点：java虚拟机概述和基本概念堆、栈、方法区了解虚拟机参数垃圾回收概念和算法、及对象的分代转换垃圾收集器java虚拟机的原理：所谓虚拟机，就是一台虚拟的机器。...
实时处理半期总结
lookqinghuaci的博客
06-14 16
关于是spark的半期总结
学期总结
weixin_30612769的博客
12-20 25
1.统计本学期<Java程序设计>课程的主要内容 　　标识符，基本数据类型，运算符，控制结构：if和if-else，switch，for，while 　　继承性和多态性，封装性，修饰词：static，abstract，final，接口 　　异常的捕获和处理，输入流和输出流，读写器 　　数据库结构设计 2.统计本学期编写的代码行数（请使用折线图） 　　 3.描述自己在...
Hadoop大数据技术课程总结2021-2022学年第1学期
技术小白的成长历程
12-04 9762
本文为Hadoop大数据技术课程总结，包括大数据概述，HDFS，MapReduce，Yarn，Hive，Zookeeper，Flume的基本介绍，部分内容附上了可供参考的链接，希望通过本博客的学习，各位学生能有所得，欢迎留言回复问题
2019年终总结-大数据经历
qq_43115606的博客
01-21 2902
大学年终总结 个人博客文章地址 看着好多人都在写2019年终总结，我也来回顾一下我的大学生活。 由于英语偏科加上其他的科目不是特别强势，来到一所普通二本，读的是数学与应用数学专业，可是却并不怎么想当老师，我更喜欢的是在大学学一门实实在在的技术，去外面的世界闯一闯，不管成功还是失败，还得去看看。 回想大一那一年确实没怎么读书，很多时间多花在各种活动和打游戏上面。不过也没什么，毕竟高中时间被安排得明明...
Python学期总结：从无知到入门
zl202111的博客
12-28 853
Python学期总结一、Python概述（一）Python为何物（二）为什么要学习Python1、随AI浪潮越来越热门2、Python语言语法简单3、Python应用范围很广4、教育界对Python重视二、安装Python三、开学第一课（一）利用命令行模式1、交互式操作2、利用IDEL模式四、使用集成开发环境（一）PyCharm可视化编译器1、安装PyCharm 一、Python概述 “人生苦短， 我用Python”。不知道从什么时候开始，这句话开始流行。反映出Python语言的特点：简单、高效。近期研究
大数据实训
北聖
12-24 2749
计算机专业大数据实训怎么做？学大数据为什么要做实训如何高效做好大数据实训一、细心且认真二、认真思考，动手操作三、独立解决出现的问题四、养成好习惯大数据实训的意义个人发展找工作时的优势 学大数据为什么要做实训 当我们学完大数据课程后，知道了大数据的基本理论，学了大数据理论知识不等于会大数据技术，就如同学武术套路，不会用也只是花架子，光说不练永远是假把式，IT技术与其他领域的学习并不相同，求学者最需要的就是实操，在实际操作中掌握所学知识点，届时只有通过实践才能知道自己有没有学会。 学生通过项目实训，加深对大数据
大数据开发基础课
fegus的博客
07-13 492
模块一：大数据简介03 | 为了追赶当下趋势，我们要做什么思想准备？模块三：大数据开发06 | 精准溯源：大数据中的数据到底是从哪儿来的？07 | 专为解决大数据存储问题而产生的 HDFS08 | HBase 和 Hive 你能分清楚吗？10 | 消息系统 Kafka 与 Flume 如何抉择11 | MapReduce 处理大数据的基本思想有哪些12 | Spark 与 Flink 的爱恨情仇（上）13 | Spark 与 Flink 的爱恨情仇（下）模块四：大数据挖掘与分析16 | 计算机视觉 VS 自
当人们在说大数据的时候到底在说什么？
qq_42499737的博客
08-18 65
前言 今天新开了一个 【大数据】分类，在整个的运维体系中，你稍微努力下，拿到12K-14k还是蛮容易的，但是想要拿到18k就稍微有些困难。 想要冲刺20K，就几乎成了个梦想。 在以往的授课中，的确有人学历，年龄，都不够的情况下拿到了20K, 但这种情况已经与技术 无关了，完全是靠沟通能力和运气。 如果你想在现有的运维体系中突破20K的薪资，在不考虑副业的情况下，只有通过继续深造，比如学学大数据的内容， 不是因为你会了大数据的知识，薪资才提高的，而是因为大数据公司的薪资相对较高。 这就和你作为普通专科只能去小

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题：代码科技 设计师：Amelia_0503 返回首页
评论

打赏作者

howard2005

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。

余额充值