数据分析课程交流
数据分析课程交流
吴智深
这个作者很懒,什么都没留下…
展开
-
数据可视化利器之Visdom使用手册(转载自Github)
Visdom手册转载 2022-10-13 22:38:58 · 604 阅读 · 0 评论 -
深度学习专题交流(第11~14次课):卷积神经网络基本原理
本讲介绍了卷积神经网络的数学原理,需要掌握的内容包括如下几点:1. 理解卷积的物理意义2. 理解DNN的缺陷,以及CNN如何克服DNN的缺陷3. 理解CNN的卷积层和池化层的作用4. 掌握CNN的前向传播算法5. 能手工推导CNN反向传播算法中池化层、卷积层的delta迭代公式6. 能手工推导卷积层对W,b的导数原创 2022-09-28 18:52:44 · 370 阅读 · 0 评论 -
深度学习专题交流(第09~10次课):梯度不稳定原因及解决方法
本次课主要分析了导致DNN训练困难的梯度不稳定问题,并介绍了解决这类问题的几种方法。包括:- 参数初始化技术(梯度爆炸)- 用非饱和激活函数替代饱和激活函数(梯度弥散)- 用交叉熵损失函数替代MSE损失函数(梯度消失)- 批量归一化技术(内部协变量偏移)当然,除了这些方法,还有很多优化DNN的方法,包括利用无监督逐层预训练进行初始化的技术、超参数调试技术、改进的梯度下降算法(动量梯度下降、Adam等)、学习率衰减等。对DNN优化感兴趣的可以进一步深入研究。下一讲将介绍在图像处理中更常用的卷积深度原创 2022-09-16 22:14:46 · 820 阅读 · 0 评论 -
深度学习专题交流(第05~08次课):深度神经网络基本原理
本次课介绍了DNN的结构、前向传播算法和反向传播算法的数学原理,以及DNN的训练算法。DNN的核心理论是反向传播算法中计算误差对各层系数的梯度,其中主要用到了矩阵求导的相关知识和归纳法推导迭代公式的技巧。下一讲将分析DNN梯度不稳定现象的原因,并介绍各种激活函数和误差函数对梯度的影响。...原创 2022-08-31 17:56:31 · 362 阅读 · 0 评论 -
深度学习专题交流(第01~04次课):矩阵分析基础
矩阵分析是工程数学的重要部分,也是机器学习领域重要的数学工具之一。深度学习作为机器学习领域重要的分支,在实践应用中取得了令人瞩目的成果。本专题将对深度学习背后的数学原理进行详细介绍。首先将利用4次课时间介绍矩阵分析中与深度学习密切相关的矩阵求导方法。......原创 2022-08-26 10:40:36 · 630 阅读 · 0 评论 -
数据分析课程交流(第11次课):算法专题8——决策树
管理就是决策。对于确定型决策,可通过最优化方法找到最优决策;对于参数不确定型风险决策,可通过决策树、贝叶斯等方法辅助决策;对于战略不确定型决策,可通过博弈方法进行决策。本课程将通过接下来的两个专题分别介绍决策树和朴素贝叶斯方法。原创 2022-01-03 21:31:31 · 822 阅读 · 0 评论 -
数据分析课程交流(第10次课):算法专题7——Softmax分类
Softmax是Logistic的推广,其算法原理也相似,都可以通过最大对数似然估计建立损失函数。为了给后继几次概率模型的算法专题打下基础,本次课引入了信息论基础理论,并尝试用最小交叉熵来代替最大对数似然估计。信息论相关基础理论是本次课的重点。原创 2021-12-27 00:25:44 · 542 阅读 · 1 评论 -
数据分析课程交流(第09次课):算法专题6——对数几率回归
Logit与Logistic函数是一对反函数,起源于对人口增长问题的研究。Logistic函数类似正态累积分布函数,其导数类似正态分布,且具有闭合解,便于计算。使用Logit变换可将分类概率映射到(-∞,+∞)空间,从而可进行多项式回归。基于这一思想,可实现二分类。本次课需要了解模型的起源,理解几率与概率的关系,理解Logit和Logistic函数的性质,掌握二元对数几率回归损失函数和梯度公式的推导,以及梯度公式的向量化表示,并编程实现。通过实验,理解导致过拟合的原因,并理解正则化方法提高模型泛化能力的原理原创 2021-12-19 19:53:39 · 532 阅读 · 0 评论 -
数据分析课程交流(第08次课):算法专题5——K均值聚类
聚类是典型的无监督学习算法,常见的包括K均值聚类、均值偏移聚类、密度聚类、高斯混合聚类、层次聚类。通过本次课,理解这五种聚类算法的原理和各自的优缺点,并能编码实现K均值聚类算法。通过实验观察影响算法性能的因素,并对算法进行改进,能读懂二分K均值聚类代码,并能手工推演二分K均值聚类过程。上次课介绍了几种范数距离的意义,本次课进一步理解余弦距离的意义。原创 2021-12-12 21:41:09 · 405 阅读 · 0 评论 -
数据分析课程交流(第07次课):算法专题4——K近邻
K近邻是最基础的一种分类和回归算法。通过本次课学习,理解其分类和回归原理,认识几种范数距离的意义,理解经验误差和泛化误差的意义,掌握交叉验证策略,并通过实验认识K值选择对算法误差的影响。算法通过暴力搜索近邻的效率较低,kd-tree和ball-tree通过二分查找提高对近邻点的搜索效率,学有余力的同学在理解算法的基础上,尝试读懂代码,并进行算法效率的比较,撰写研究报告。原创 2021-12-08 11:56:24 · 309 阅读 · 0 评论 -
数据分析课程交流(第06次课):算法专题3——感知机
感知机是构建人工神经网络的基本元素,是人工智能的基础。通过本次课学习,掌握感知机的数学模型,理解函数间隔的概念和感知机的训练策略,能推导损失函数及梯度公式,并编码实现随机梯度下降算法。学有余力的同学可尝试理解训练算法收敛性的证明过程,以及为提高模型泛化能力所采取的改进策略(SVM),撰写研究报告。原创 2021-12-05 20:27:01 · 432 阅读 · 0 评论 -
数据分析课程交流(第05次课):算法专题2——线性回归
通过对线性回归的学习主要掌握两方面内容:最小二乘法思想和梯度下降的数值优化方法。前者包括理解最小二乘与正态分布的关系,并能进行损失函数的推导;后者包括理解梯度下降原理和迭代公式的推导,并能编码实现。学有余力者可进一步了解牛顿法等一系列数值优化方法,并撰写研究报告。原创 2021-12-01 10:54:55 · 347 阅读 · 0 评论 -
数据分析课程交流(第04次课):算法专题1——主成分分析
矩阵分解是数据分析中的一大类方法,奇异值分解是最经典的矩阵分解方法之一。通过对该算法原理的理解,有望打开矩阵分解阵营的大门。考点:实对称阵的特征值分解、矩阵的奇异值分解、主成分分析的作用、算法编码实现。原创 2021-11-24 11:23:03 · 384 阅读 · 0 评论 -
数据分析课程交流(第03次课):python编程基础(进阶部分)
课件整理了三剑客的基本用法,覆盖了后续算法专题课程所需的必要技能。本次课的内容不会进行笔试考核,但会在算法专题课的代码实现环节体现为平时成绩。原创 2021-11-16 22:20:22 · 702 阅读 · 0 评论 -
数据分析课程交流(第02次课):python编程基础(基础部分2)
考点:1. 列表推导式和切片操作2. 分支循环中的continue/break/else结构和三目运算3. 函数的参数类型、递归、lambda表达式和yield生成器原创 2021-11-04 21:46:47 · 235 阅读 · 0 评论 -
数据分析课程交流(第01次课):python编程基础(基础部分1)
又开课了,感兴趣的同学可以一起来学,有问题可在博客下留言,幻灯片有页码,提问题时请指明所在页码。原创 2021-11-02 11:09:52 · 482 阅读 · 0 评论