(4)问题与机遇并存;(打破数据孤岛、加强数据管理、深化领域应用)
3.3、大数据计算模式
计算模式分为 批量计算 和 流式计算;
3.3.1 批量计算(Batch Computing):
概念:先进行数据的存储,然后对存储的静态数据进行集中计算。
使用场景:先存储后计算,实时性要求不高,准确性、全面性更重要;
典型系统:Hadoop
3.3.2 流式计算(Stream Computing):
概念: 无法确定数据到来的时刻和顺序,也无法将全部数据都存储起来,当流动的数据到来后,在内存中直接进行数据的实时计算。
使用场景:无需先存储,可以直接进行数据计算,实时性要求严格,数据的精确度稍微宽松。
典型系统:Storm
3.3.3 流式大数据特征:实时、易失、突发、无序、无限
3.4、大数据技术
3.4.1 大数据分析算法:
(1)可视化分析;(2)数据挖掘算法 ;(3)预测性分析能力;(4)语义引擎;(5)数据质量和数据管理;
3.4.2 大数据技术分为大数据平台技术和大数据应用技术;
大数据平台技术:数据的采集、存储、流转、加工所需要的底层技术。
大数据应用技术:对数据进行加工,把数据转化成商业价值的技术,如算法,以及由算法衍生出来的模型、引擎、接口、产品等。
3.5、数据平台
3.5.1 作用:一个数据平台的出现不仅可以承担数据分析的压力,还可以对业务数据进行整合,从而从不同程度上提供数据处理的性能,基于数据平台实现更丰富的功能需求。
3.5.2 设计原则: p89
(1)数据集中和共享;
(2)数据标准统一;
(3)数据管理策略统一;
(4)减少数据复制;
(5)长期和短期相结合;
3.5.3 数据存储和计算
(1)常规数据仓库
(2)MPP(大规模并行处理)架构
(3)Hadoop分布式系统架构
3.5.4 数据建模:数据模型至少应包含:
(1)数据元(属性)定义;(2)数据类(对象)定义; (3)主数据管理;
3.5.5 数据目录:
(1)数据连接和发现的能力
(2)元数管理能力:
(3)检索筛选和用户自组织能力
(4)安全和共享能力
3.5.6 数据安全管控
(1)应用安全;(2)数据安全;(3)主机安全;(4) 网络安全; (5)物理安全;
3.5.7 数据准备-ETL
(1)数据清洗(Extract):数据补缺、数据替换、格式规范化、主外键约束;
(2)数据转换(Transform): 数据合并、拆分、行列互换、数据验证
(3)数据加载(Load): 时间戳、日志表、全表对比、全表删除插入方式
3.5.8 数据平台总结
大数据平台实现数据的分层与水平解耦,沉淀公共的数据能力。分为三层:数据模型(技术)、数据服务和数据开发,通过数据建模实现跨域数据的整合和知识沉淀,通过数据服务实现对于数据的封装和开发,快速、灵活地满足上层应用的要求,通过数据开发工具满足个性化数据和应用的需要。
第4章“机器学习”
需要掌握:机器学习基本概念;数据预处理。
4.1、机器学习基本概念
1.1 概念:让机器从大量样本数据中自动学习其规则,并根据学习到的规则预测未知数据的过程。
1.2 本质:输入到输出的映射。类似人脑思考,机器经过大量样本的训练,获得了一定的经验(模型),从而产生了能够推测(推断或推理)新的事物的能力。
1.3 几个重要的术语:
(1) 数据集 - dataSet :样本数据,包含训练集、验证集、测试集
训练集:用于训练模型,确定模型中的参数;
验证集:用于模型的选择和优化;
测试集:用于对已经训练好的模型进行评估,评价其表现;
(2)目标/标签 -target :因变量,关注的结果
(3)特征 feature:自变量,用来解释和预测结果的其他变量; 数据类型包括:数值型、分类型、文本、日期
1.4 机器学习的任务流程:
数据导入-》探索性分析-》数据清洗-》特征工程-》算法选择和优化-》模型训练和评估
4.2、数据预处理
包含探索性分析、数据清洗、特征工程
4.2.1 探索性分析
概念:通过图表等可视化工具对原始数据进行大致了解和初步分析的过程。
作用:(1)了解数据集的基本信息;(2)给数据清洗提供方向;(3)为特征工程提供方向;
4.2.2 数据清洗
脏数据的情况:
(1)存在重复记录的数据;
(2)存在不相关记录
(3)无用的特征信息;
(4)文字拼写错误
(5)信息格式不统一
(6)明显错误的离群值
(7)缺失数据
4.2.3 特征工程
从原始数据中找到合适的特征集的过程
第5章“模型”
需要掌握:模型概念;模型的训练;梯度下降法;模型的拟合效果;模型的评估与改进。
5.1、模型概念
模型刻画了因变量y和自变量x之间的客观关系,即y与x之间存在一种形象的客观规律在约束。模型是对处理变量关系的某种假设。
5.2、模型的训练
5.2.1 概念:训练一个模型就是从训练数据中确定所有权重和偏差的最佳值,参数的求解
训练的目标是找到让误差最小的权重和偏差。
5.2.2 均方误差 MSE: 是回归模型中的一个重要概念,描绘了整个考察的样本集中预测值和实际值的平均偏离程度。
5.2.3 误差函数是为了评估模型拟合的好坏,通常用误差函数来度量拟合的程度。误差函数极小化意味着拟合程度最好,对应的模型参数即为最优参数。
5.3、梯度下降法
5.3.1 类似贪心算法,每次梯度下降都选取局部最优解。如果误差函数是凸函数,梯度下降法得到的解一定是全局最优解(梯度为0)。
5.3.2 误差函数的最小值就是误差函数收敛的位置。
5.3.3 步长:在梯度下降迭代的过程中,每一步沿梯度负方向前进的长度。
5.3.4 常见梯度下降方法:
(1)批量梯度下降法;(2)随机梯度下降法;(3)小批量随机梯度下降法;
5.4、模型的拟合效果
5.4.1 欠拟合:模型过于简单,对于部分数据刻画较差,训练的时间不够;(实际应用中,出现较少)
5.4.2 过度拟合:参数过多,对训练集的匹配度太高、太准确,以至于在后面的预测过程中可能会导致预测值非常偏离合适的值,预测非常不准确。
5.4.3 过度拟合的处理方法:
(1)使用更多训练数据;
(2)使用正则化,改变误差函数,在误差函数原有的基础上加入惩罚项;
(3)早停法,在迭代过程中提早结束迭代;
(4)使用集成算法
(5)减少特征的数量
5.5、模型的评估和改进
5.5.1 回归模型
评价指标:均方误差-MSE 平均绝对误差-MAE
5.5.2 分类模型
评价指标:准确率、精确率、召回率、ROC曲线、误分率
(1)准确率 = 预测正确的样本数据 / 综样本数
误分率 = 1- 准确率
(2)精确率
预测为正的样本中确实为正值的比率
(3)召回率
所有真实值为正的样本中被我们预测为正值的比率。
5.5.3 模型改进
(1)使用更多人为标注的标签数据;
(2)手动进行误差分析;
(3)进行效果更好的Bias-Variance(偏差-方差)分析
第6章“机器学习算法”
需要掌握:算法概述;支持向量机算法;逻辑回归算法;KNN算法;决策树算法;聚类算法
6.1、算法概述
6.1.1 概念
机器学习算法可以描述为学习一个目标函数f,它能够最好地映射出输入变量x到输出变量y。
6.1.2 算法选择要考虑:
(1)数据的大小、质量和类型;
(2)完成计算所需要的时间
(3)任务的紧迫程度
(4)你需要对数据做什么处理
6.2、支持向量机算法(SVM)
6.2.1 选择一个超平面(一条直线),它能最好地将输入变量空间划分为不同的类(0/1);超平面和最接近的点的距离看作一个差值,最好地超平面可以把所有数据划分为两个类,并且这个差值最大。
这些点称为支持向量。
6.2.2 对于线性不可分的情况,SVM的解决方案是通过核函数进行空间转换,将低位空间投射到高位空间中去,使经过变换后的样本点实现线性可分。本质上是线性分类器。
6.3、逻辑回归算法
6.3.1 是一种常见的分类模型,标签数据必须是离散型变量;逻辑回归的目的是找出每个输入变量对应的参数值。
6.3.2 合适用于处理二分类问题。、
6.3.3 最近的距离:欧几里得距离;其他距离:曼哈顿距离;切比雪夫距离;
6.4、K最邻近算法 (KNN)
6.4.1 一种简单有效的算法,但计算量大,适合用于输入变量和输出预测变量最具有相关性的场景;
6.4.2 对于新数据点的预测:寻找整个训练集中K个最相似的样本(邻居),并对这些样本的输出变量进行总结。
6.5、决策树算法
6.5.1 用二叉树来解释决策树模型,不需要对数据做特殊处理,使用简单;具有极高的可解释性;容易出现过度拟合;
6.5.2 CART决策树模型
6.6、聚类算法
6.6.1 聚类
将数据分类到不同的类或者簇这样的一个过程,同一个簇中的对象有很大的相似性,而不同簇间的对象有很大的相异性。非监督式学习;
6.6.2 K均值聚类-K-Means
(1)将n个数据样本划分成k个聚类的算法,使得同一聚类中的样本相似度较高,不同聚类样本的相似度较低。
(2)是一个反复迭代求解的过程,速度快;
6.6.3 均值漂移聚类
一个基于滑动窗口的算法,目标是定位每个组/类的中心点,通过将中心点的候选点更新为滑动窗口内点的均值来完成。
6.6.4 基于密度的聚类方法 DBSCAN
6.6.5 用高斯混合模型的最大期望聚类 GMMs
假设数据点是高斯分布的,用均值和标准差这2个参数来描述簇的形状。
6.6.6 凝聚层次聚类
6.6.7 图团体检测
第7章“深度学习”
需要掌握:深度学习概念;神经网络的训练;神经网络的优化和改进;卷积神经网络。
7.1、深度学习概念
7.1.1 概念:是把大量数据输入一个非常复杂的模型,让模型自己探索有意义的中间表达。
本质:用深度神经网络处理海量数据,属于机器学习的一种模型
优势:让神经网络自己学习如何抓取特征,整合了特征提取的过程,可以自动学习数据集的特征。
7.2、神经网络的训练
7.2.1 神经网络组成:由神经元、网状结构、激活函数构成;
7.2.2 神经网络计算过程: (1)对输入变量施加线性组合;(2)套用激活函数;(3)重复前2步;
7.2.3 深度神经网络:使用了多个隐藏层的神经网络,模型的准确率提高;
7.2.4 代价函数:衡量模型预测值和真实值之间的偏离程度。
7.2.5 正向传播:正常输入计算到数据的过程;
反向传播:为了优化代价函数,修正神经网络中参数的过程。目的是修正参数。
7.3、神经网络的优化和改进
7.3.1 优化的目的
让算法更快收敛,使得速度加快。
7.3.2 常见优化策略
(1)Mini-Batch (2)输入数据标准化; (3)动量方法(Momentum)
7.3.3 正则化方法
目的是防止模型过度拟合。
常见方式: L1/L2正则化 ; Dropout(随机失活)
7.4、卷积神经网络
7.4.1 卷积运算
将一个矩阵和另一个“矩阵乘子” 通过特定规则计算出一个新的矩阵的过程。
目的:提取输入的不同特征,第一层卷积层可能只能提取到一些低级的特征,如边缘、线条和角等层级,更多层的网络能从低级特征中迭代提取更复杂的特征。
7.4.2 卷积层
对上一层的输入数据进行卷积运算,将得到的结果传递给下一层。
第10章“神经网络”
需要掌握:神经网络概念;训练神经网络;多类别神经网络;嵌入。
10.1、神经网络概念
10.1.1 概念:是一种模仿人脑神经元工作方式的计算和学习系统。它通过将多个神经元按照一定的规则连接起来,形成一个网络,以实现对信息的处理和传递。神经网络通常包括输入层、隐藏层和输出层,其中同一层的神经元之间没有连接,而不同层的神经元之间通过权重相连。神经网络的训练过程包括前向计算和反向传播,通过梯度下降算法来调整网络的权重,以获得最佳的预测或分类结果。
10.1.2 标准组件:
(1)一组节点:类似于神经元,位于层中。
(2)一组权重:表示每个神经网络层于其下方的层之间的关系。下方的层可能是另一个神经网络层,也可能是其他类型的层。
(3)一组偏差,每个节点一个偏差。
(4)一个激活函数,对层中每个节点的输出进行转换。不同的层可能拥有不同的激活函数。
10.2、训练神经网络
10.2.1 训练过程:神经网络的训练包括前向(正向)传播(计算输出)和反向传播(调整权重),通过梯度下降算法来最小化预测输出与实际输出之间的误差。
10.2.2 归一化特征值:标准化,加快训练网络的收敛性,避免空值。
10.2.3 随机失活
可以减少过度拟合,提高准确率。
原理:对于同一组训练数据,利用不同的神经网络训练之后,求其输出的平均值可以减少过度拟合。随机失活每次失活一半的隐藏层神经元,相当于在不同的神经网络上进行训练,这样就减少了神经元之间的依赖性,即每个神经元不能依赖于某几个其他的神经元(是指层与层之间连接的神经元),使神经网络更加能学习到与其他神经元之间的更加健壮的特征。
10.3、多类别神经网络
3.1 模型会训练一些列二元分类器,使每个分类器都能回答单独的分类问题。
3.2 Softmax函数
为每个类别分配一个小数表示的概率,概率和为1。这种附加限制有助于让训练更快收敛。本质是逻辑回归的泛化。4.1
10.4、嵌入
10.4.1 概念
广泛应用于推荐系统中,是一种相对低维的空间,可以将高维向量映射到低维空间里。通过使用嵌入,可以使得在大型输入(比如代表字词的稀疏向量)上进行机器学习变得更加容易。
10.4.2 协同过滤:用来预测用户的兴趣
10.4.3 稀疏数据
10.4.4 获取嵌入
10.5 模型比较
线性模型 LinearClassifier :没有太多要更新的参数或要反向传播的层,所以训练速度快;
深度神经网络(DNNClassifier):提供额外模型的复杂性和能力
第11章“知识图谱”
需要掌握:知识图谱概念;知识图谱构建的关键技术。
11.1、知识图谱概念
11.1.1 概念
本质上,知识图谱旨在描述真实世界中存在的各种实体或概念机器关系,其构成一张巨大的语义网络图,节点表示实体或概念,边由属性或关系构成。泛指各种大规模知识库。
11.1.2 架构
包括自身的逻辑架构和构件知识图谱所采用的技术(体系)架构
11.1.3 构件知识图谱组成
(1)知识获取,主要是如何从非结构化、半结构化以及结构化数据中获取知识
(2)数据融合,主要是如何将从不同数据源获取的知识融合,构建数据之间的关联;
(3)知识计算及应用,关注的是基于知识图谱的计算功能以及基于知识图谱的应用。
11.1.4 在行业数据分析中的应用
(1)股票投研情报分析;
(2)公安情报分析;
(3)反欺诈情报分析
11.2、知识图谱构建的关键技术
知识图谱是一系列技术的组合,分成以下4个层次:
(1)知识提取:文本分析和抽取技术;
(2)知识融合:语义计算、数据整合和存储;
(3)知识加工:本体构建,分析推理;
(4)知识呈现:图谱可视化,搜索
11.2.1 知识提取:
(1)面向开放的链接数据:通常典型的输入是自然语言文本或者多媒体内容文档(图像或者视频)等,然后通过自动化或者半自动化的技术抽取出可用的知识单元,知识单元主要包括实体(概念的外延)、
关系以及属性3个要素,并以此为基础,形成一系列高质量的事实表达。
(2)非结构化数据:首先对非结构化数据提取正文,再通过自然语言技术识别文章中的实体,接着识别实体间的关系;
(3)半结构化数据:通过包装器学习半结构化数据的抽取规则,半结构化数据中具有大量的重复性结构,需要对数据进行少量的标注。
11.2.2 实体抽取方法
(1)基于百科或垂直站点抽取
(2)基于规则与词典的实体提取方法;
(3)基于统计机器学习的实体抽取方法;
(4)面向开放域的实体抽取方法;
11.2.3 语义类抽取
指从文本中自动抽取信息来构造语义类并建立实体和语义类的关联,作为实体层面上的规整和抽象。
(1)并列相似度计算;(2) 上下位关系提取 (3)语义类生成;
11.2.4 属性和属性值抽取
(1)任务:为每个本体语义类构造属性列表(如城市的属性包括面积、人口、所在国家、地理位置),而属性值抽取则是为一个语义类的实体附加属性值。
(2)常用方法:
– 从百科类站点中提取
– 从垂直网站中进行包装器归纳
– 从网页表格中提取
– 利用手工定义或自动生成的模式从句子和查询日志中提取
11.2.5 知识融合
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
7925041)]
[外链图片转存中…(img-CbSLTY7c-1712877925042)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-kvN5E7Sb-1712877925042)]