AI
文章平均质量分 93
AI数学基础
机器学习
深度学习
AmosTian
计算机科学与技术在读,记录与分享自己的学习心得。学海无涯,知道的越多不知道的越多。
展开
-
【AI】深度学习——循环神经网络
循环神经网络是一类具有短期记忆能力的神经网络,可以更方便地建模长时间间隔的相关性常用的参数学习可以为BPTT。当输入序列比较长时,其计算时间和空间要求随时间线性增长,可以使用带截断的BPTT,只计算固定时间间隔内的梯度回传LSTM的线性连接和门控机制能有效避免梯度消失问题,也运用于深层前馈网络中,如残差网络和告诉网络,都是引入线性训练非常深的卷积网络。对于循环网络,这种机制也可以运用于非时间维度上RNN还可以轻易扩展为两种更广义的网络模型:递神经网络和图网络原创 2023-10-15 12:30:37 · 574 阅读 · 1 评论 -
【AI】深度学习——前馈神经网络——卷积神经网络
首先介绍了卷积运算及交换性,用互相关与卷积运算的区别在于是否旋转卷积核,卷积运算可以理解为矩阵的多次翻转相乘由于全连接网络参数过多,使用卷积运算可以减少参数数量,池化层可以减少输出特征映射的神经元数量。卷积层输入层与输出层的特征映射是全连接关系,卷积神经网络的整体结构为多个卷积块插入几个池化层,再过全连接网络,得到条件概率,最后代入机器学习模型得到最终输出。卷积神经网络也是通过误差反向传播得到参数,介绍了几种典型的网络:LeNet-5,AlexNet,Inception,残差网络以及非标准卷积原创 2023-10-12 00:11:37 · 662 阅读 · 0 评论 -
【AI】深度学习——前馈神经网络——全连接前馈神经网络
全连接前馈神经网络可以抽象为信息传播公式,其理论依据为通用近似定理,与机器学习结合可以解决分类问题,对交叉熵损失函数使用梯度下降算法求参数矩阵求导在nndl中以分母布局为主,以链式法则为计算依据,但同时也可采用更为高效的计算方法反向传播算法:第l层的误差项可以通过第 l+1 层的误差项计算得到,前向计算每一层净输出和活性值,再反向计算出每一层的误差项,得到本层梯度,用随机梯度下降法来训练参数自动梯度计算反向模式与反向传播算法一致神经网络为非凸优化问题,也会遇到梯度消失问题参数过多,以及无局部不变原创 2023-10-09 17:10:37 · 1649 阅读 · 1 评论 -
【AI】深度学习——人工智能、深度学习与神经网络
表示学习与深度学习:传统机器学习是对经过特征工程抽取后的特征进行运算,而特征工程的作用就是消除语义鸿沟,与深度学习结合的特征抽取也称为表示学习深度学习可以用一系列非线性函数的复合表示深度学习天然是神经网络,介绍了人类大脑机制,与神经元的工作机制,人工神经网络有三种模型(前馈,记忆,图网络),且本身是解决贡献度分配问题介绍了神经网络发展史,以及常用的非线性激活函数,S型(logistic,tanh),ReLU函数(带泄露的ReLU,ELU,Softplus,带参数的ReLU),Swish函数,GELU原创 2023-10-09 16:32:44 · 1754 阅读 · 1 评论 -
【AI】机器学习——支持向量机(非线性及分析)
核函数,核技巧,正定核函数的构造,核函数作用于SVM,SVM参数求解算法,SVM与线性模型原创 2023-09-13 23:47:31 · 1089 阅读 · 0 评论 -
【AI】机器学习——支持向量机(线性模型)
SVM概述,支持向量机分类线性可分SVM,函数间隔,几何间隔,硬间隔最大化策略,SVM原始算法的对偶形式、SVM对偶形式算法步骤,线性SVM,支持向量,合页损失函数,带约束项等价于带正则项原创 2023-09-13 23:45:08 · 353 阅读 · 0 评论 -
【AI】数学基础——最优化
凸优化目标无约束优化:梯度下降法,随机梯度下降法,牛顿法,非线性搜索方法——置信域方法,非地毯式搜索——启发式算法约束优化问题:约束优化与Lagrange函数,对偶问题,等式约束优化,不等式约束优化,KKT条件原创 2023-09-11 16:27:33 · 619 阅读 · 0 评论 -
【AI】机器学习——感知器
感知机原理,感知机学习策略,距离定义,随机梯度下降法求解PLA参数,算法收敛性定理PLA对偶形式,Gram矩阵引入原创 2023-09-10 00:38:03 · 1040 阅读 · 1 评论 -
【AI】机器学习——线性分类模型——逻辑斯蒂回归&Softmax回归
线性分类模型:二分类问题,二分类模型,二分类模型损失函数sigmod函数逻辑回归模型参数求解逻辑斯蒂回归策略——期望风险最小化损失函数多角度分析逻辑回归Softmax回归Softmax模型,损失函数,优化算法,Softmax与logistic对比原创 2023-09-09 11:36:01 · 723 阅读 · 1 评论 -
【AI】机器学习——线性回归模型
线性模型概念线性回归模型,回归模型损失函数,梯度下降法分析,最小二乘法分析,多角度理解最小二乘法回归方程衡量标准:拟合优度,判定系数显著性检验:线性关系检验,回归系数检验利用回归直线进行预测,置信区间估计多元回归问题:多重共线性,过拟合问题,岭回归,LASSO回归原创 2023-09-08 00:13:51 · 637 阅读 · 0 评论 -
【AI】机器学习——朴素贝叶斯
贝叶斯定理——贝叶斯决策朴素贝叶斯分类器思想,条件独立性假设,朴素贝叶斯模型,朴素贝叶斯的后验概率最大化与期望风险最小化策略,朴素贝特斯算法条件独立性分析,期望最小化理解,拉普拉斯平滑,基于朴素贝叶斯的垃圾邮件过滤,版朴素贝叶斯分类器原创 2023-09-06 16:52:15 · 620 阅读 · 1 评论 -
【AI】机器学习——绪论
机器学习概念。目标,特点,SML三要素,步骤机器学习分类:参数化方法,概率模型,监督学习,无监督学习,强化学习,贝叶斯方法,核方法统计学习三要素:模型,策略,算法,常用损失函数,风险函数,期望损失,经验函数,平均损失,结构风险最小化模型误差,欠拟合,过拟合,泛化能力,交叉验证,正则化为什么防止过拟合监督学习分类:生成模型,判别模型频率派与贝叶斯派区别,原创 2023-09-04 15:00:26 · 1272 阅读 · 0 评论 -
【AI】数学基础——形式逻辑
AI与符号主义,一阶谓词逻辑 (命题与谓词逻辑关系,谓词逻辑)推理能力产生式系统,产生式系统组成,推理方式自动推理机分析,形式逻辑的本质问题——哥德尔不完备性定理认知可计算主义局限性原创 2023-08-31 01:22:20 · 333 阅读 · 0 评论 -
【AI】数学基础——信息论
信息熵,条件熵,交叉熵,互信息,KL散度,最大熵原理与最大熵模型原创 2023-08-31 01:19:05 · 569 阅读 · 0 评论 -
【AI】数学基础——数理统计(假设检验&数据处理)
假设检验:提出假设,构建检验统计量,根据显著性水平确定拒绝域临界值,计算统计量,根据临界值法决定是否拒绝原假设Z检验,T检验,卡方检假设检验中的两种错误,假设检验在监督学习中的作用数据处理,核函数,线性核函数,多项式核函数,高斯核函数熵,激活函数原创 2023-08-31 01:06:39 · 496 阅读 · 0 评论 -
【AI】数学基础——数理统计(概念&参数估计)
数理统计概念:概率论与数理统计区别,基本定理(大数定理,马尔科夫不等式,切比雪夫不等式,中心极限定理),统计推断的基本问题参数估计:频率派(点估计法:矩估计法,极大似然估计,点估计评估。区间估计法)贝叶斯派:贝叶斯定理,贝叶斯估计,贝叶斯预测,模型比较理论,垃圾邮件过滤原创 2023-08-31 00:58:54 · 440 阅读 · 0 评论 -
【AI】数学基础——概率论
随机事件:样本空间,随机事件,事件的概率,概率与频率,古典概率,条件概率,芝麻开门随机变量:概率函数,离散随机变量概率分布,连续随机变量,概率公理二维随机变量:联合函数,二维离散型随机变量,二维连续型随机变量,边缘分布数据的数字特征:数学期望,二维随机变量的数学期望,方差,协方差随机变量的分布:均匀分布,伯努利分布,二项分布,Beta分布,正态分布,泊松分布,指数分布,卡方分布原创 2023-08-30 18:01:19 · 283 阅读 · 0 评论 -
【AI】数学基础——线代(矩阵&特征值,特征向量&矩阵分解)
矩阵:二元方程组求解与行列式,矩阵形式表示数据,矩阵的秩,矩阵运算(加减法,数乘运算,矩阵乘向量),转置特征值&特征向量,特征空间矩阵分解原创 2023-08-29 21:46:52 · 272 阅读 · 0 评论 -
【AI】数学基础——线代(向量部分)
对象的表示线性空间:向量,向量空间,范数(模),向量运算(向量大小——模,向量间的相对位置——内积,向量乘向量),正交向量组与规范正交基,向量组的秩原创 2023-08-29 21:43:21 · 325 阅读 · 0 评论 -
【AI】数学基础——高数(积分部分)
积分,定积分,NL公式,泰勒公式,麦克劳林公式求极值,多条件极值,无条件极值,条件极值原创 2023-08-29 21:15:51 · 480 阅读 · 0 评论 -
【AI】数学基础——高数(函数&微分部分)
常见函数极限,无穷大,无穷小,连续性,间断性导数,导数的几何意义,可微,二元函数的导数(偏导,方向导),梯度原创 2023-08-29 21:14:20 · 343 阅读 · 0 评论