先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
📑1.2时间安排
📖2、竞赛选题
2.1题目发放
本科组:
- A题
- B题
- C题
专科组:
- D题
- E题
题目可在官网下载:
全国大学生数学建模竞赛
http://www.mcm.edu.cn/html_cn/block/8579f5fce999cdc896f78bca5d4f8237.html
2.2关于选题
A题
- A题不出所料是一道物理题,大致浏览了一下题目,直接pass,对非物理or数学专业的选手不太友好
B题
- B题是一道规划大题,队友小鱼表示有思路,但是最后我们一起探讨了一下还是决定选C题
C题
- C题是一道统计回归+分类聚类的问题,题目难度不大,但想要出彩很难,不过这次博主的运气比较好,暑假集训的时候有对分类和聚类模型进行学习总结,并以博客的形式输出,所以最后综合考虑还是选择了C题。
- 随机森林和SVM分类算法
2.3比赛声明
在关于选题中博主有提到自己写过一篇分类的文章,刚好这次C题的第三问就是分类问题,于是在国赛开始的半小时后,这篇文章的浏览量突然蹭蹭上升,粉丝数半小时内增加99+,也有后台粉丝私信和加我vx,备注都是**“交流数模”,不过最后我都没有回复,咱先说一声抱歉,这里也做一个小小的声明:**
- 1、博主也正在参赛,比赛时间非常紧迫,几乎没有空闲的时间与其他人进行交流
- 2、对于竞赛,遵守比赛规则是我们每个参赛选手的底线,我如果给粉丝提供代码or思路都属于违规行为
🗝️3、 问题解决
- C题的题目是《古代玻璃制品的成分分析与鉴别》,excel中给的是不同类型的出土文物中各元素含量百分比的数据,以及文物的一些类型信息。
- 相比去年C的题目,今年的excel数据量小了很多。
- 这次C题主要还是分为四个小问,1,4问主要是分析数据之间的统计学规律和描述性统计,2,3问主要是聚类、分类问题以及结果的敏感性和合理性分析问题。
🎈第一问
1.1对玻璃文物的表面风化与其玻璃类型、纹饰和颜色的关系进行分析
- 对表面风化、玻璃类型、纹饰、颜色四个分类变量进行卡方检验,计算其相关系数
1.2分析文物样品表面有无风化化学成分含量的统计规律
- 描述性统计分析,对数据进行相关性和差异性分析,对属于正态分布的数据计算其pearson相关系数,对于偏态数据计算其spearman相关系数
1.3预测风化前文物化学成分
- 建立最小二乘回归模型,分析各化学成分分别与表面风化、玻璃类型、纹饰、颜色之间的关系,得到回归方程,将风化类型的文物按颜色、类型、纹饰一共分为七类,将这七类数据带入回归方程得到文物未风化前的化学成分含量
🎈第二问
2.1分析不同分类数据之间的分类规律
- 建立决策树模型找到区分高钾玻璃和铅钡玻璃的化学成分为PbO,通过逐步回归分析得到具有代表性的四个化学成分作为进一步亚分类的指标
2.2对每个类别进行亚分类
- 通过K-means算法利用这四个指标分别对高钾玻璃和铅钡玻璃进行下一步的亚分类
2.3分析结果的合理性和敏感性
- 利用平均轮廓法求得聚类中K的值,通过“肘部法则”去检验其结果的合理性,对数据增加扰动项分析其结果的敏感性
🎈第三问
3.1 分析未知玻璃文物的化学成分,鉴别其类型
- 关于分类算法,随机森林算法的准确率高于SVM算法。建立随机森林分类模型,将预处理后的表二数据一部分作为训练集一部分作为测试集进行模型的训练,得到准确为100%的模型后,将表三数据作为输入集得到其对应的类型
3.1对分类结果进行敏感性分析
- 通过分析随机森林分类模型中的特征重要性直方图,得到三个最为重要的指标,对这三个指标进行扰动项的添加,反复训练模型观察其对最后分类结果的影响
🎈第四问
4.1分析不同文物类别玻璃制品化学成分之间的关联关系
- 首先对将数据根据风化类型和玻璃类型分为四类,各组均采用SiO2成分数列作为参照进行灰色关联性分析,计算得到各组数据之间的关系度,从而得到它们之间的关联性
4.2分析不同类别之间的化学成分关联关系的差异性
- 利用方差分析比较不同类别玻璃之间的关联差异性,若存在显著性差异则进一步采用事后多重比较进一步分析数据之间的具体差异情况
✏️3.5总结
- 这次比赛时间依旧十分紧张,三天比赛期间几乎都是两三点睡,六七点起床,不过很庆幸今年状态比较好,能保持三天工作效率正常。
- 我们团队的配合也越来越默契,大家都攥着一股劲儿往前冲。
- 当然这次比赛中也存在美中不足,关于比赛的时间我们没有把握好,以至于最后卡点提交md5码,有点惊心动魄。
🎥 4、比赛生活
1、一切就绪,准备出发
2、初来比赛场地,桌子很多
3、准备地铺,三天就在这里睡觉了
4、开始比赛前的物资准备工作,辣条、咖啡、水
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
准备工作,辣条、咖啡、水
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
[外链图片转存中…(img-l2VljExk-1713689202897)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!