- 博客(212)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 【AI】深度学习——循环神经网络
循环神经网络是一类具有短期记忆能力的神经网络，可以更方便地建模长时间间隔的相关性常用的参数学习可以为BPTT。当输入序列比较长时，其计算时间和空间要求随时间线性增长，可以使用带截断的BPTT，只计算固定时间间隔内的梯度回传LSTM的线性连接和门控机制能有效避免梯度消失问题，也运用于深层前馈网络中，如残差网络和告诉网络，都是引入线性训练非常深的卷积网络。对于循环网络，这种机制也可以运用于非时间维度上RNN还可以轻易扩展为两种更广义的网络模型：递神经网络和图网络
2023-10-15 12:30:37
581
1
原创 【AI】深度学习——前馈神经网络——卷积神经网络
首先介绍了卷积运算及交换性，用互相关与卷积运算的区别在于是否旋转卷积核，卷积运算可以理解为矩阵的多次翻转相乘由于全连接网络参数过多，使用卷积运算可以减少参数数量，池化层可以减少输出特征映射的神经元数量。卷积层输入层与输出层的特征映射是全连接关系，卷积神经网络的整体结构为多个卷积块插入几个池化层，再过全连接网络，得到条件概率，最后代入机器学习模型得到最终输出。卷积神经网络也是通过误差反向传播得到参数，介绍了几种典型的网络：LeNet-5，AlexNet，Inception，残差网络以及非标准卷积
2023-10-12 00:11:37
674
原创 【AI】深度学习——前馈神经网络——全连接前馈神经网络
全连接前馈神经网络可以抽象为信息传播公式，其理论依据为通用近似定理，与机器学习结合可以解决分类问题，对交叉熵损失函数使用梯度下降算法求参数矩阵求导在nndl中以分母布局为主，以链式法则为计算依据，但同时也可采用更为高效的计算方法反向传播算法：第l层的误差项可以通过第 l+1 层的误差项计算得到，前向计算每一层净输出和活性值，再反向计算出每一层的误差项，得到本层梯度，用随机梯度下降法来训练参数自动梯度计算反向模式与反向传播算法一致神经网络为非凸优化问题，也会遇到梯度消失问题参数过多，以及无局部不变
2023-10-09 17:10:37
1682
1
原创 【AI】深度学习——人工智能、深度学习与神经网络
表示学习与深度学习：传统机器学习是对经过特征工程抽取后的特征进行运算，而特征工程的作用就是消除语义鸿沟，与深度学习结合的特征抽取也称为表示学习深度学习可以用一系列非线性函数的复合表示深度学习天然是神经网络，介绍了人类大脑机制，与神经元的工作机制，人工神经网络有三种模型（前馈，记忆，图网络），且本身是解决贡献度分配问题介绍了神经网络发展史，以及常用的非线性激活函数，S型（logistic,tanh），ReLU函数（带泄露的ReLU，ELU,Softplus,带参数的ReLU），Swish函数，GELU
2023-10-09 16:32:44
2024
1
原创 【AI】机器学习——支持向量机(线性模型)
SVM概述，支持向量机分类线性可分SVM，函数间隔，几何间隔，硬间隔最大化策略，SVM原始算法的对偶形式、SVM对偶形式算法步骤，线性SVM，支持向量，合页损失函数，带约束项等价于带正则项
2023-09-13 23:45:08
374
原创 【AI】数学基础——最优化
凸优化目标无约束优化：梯度下降法，随机梯度下降法，牛顿法，非线性搜索方法——置信域方法，非地毯式搜索——启发式算法约束优化问题：约束优化与Lagrange函数，对偶问题，等式约束优化，不等式约束优化，KKT条件
2023-09-11 16:27:33
642
原创 【AI】机器学习——感知器
感知机原理，感知机学习策略，距离定义，随机梯度下降法求解PLA参数，算法收敛性定理PLA对偶形式，Gram矩阵引入
2023-09-10 00:38:03
1098
1
原创 【AI】机器学习——线性分类模型——逻辑斯蒂回归&Softmax回归
线性分类模型：二分类问题，二分类模型，二分类模型损失函数sigmod函数逻辑回归模型参数求解逻辑斯蒂回归策略——期望风险最小化损失函数多角度分析逻辑回归Softmax回归Softmax模型，损失函数，优化算法，Softmax与logistic对比
2023-09-09 11:36:01
897
1
原创 【AI】机器学习——线性回归模型
线性模型概念线性回归模型，回归模型损失函数，梯度下降法分析，最小二乘法分析，多角度理解最小二乘法回归方程衡量标准：拟合优度，判定系数显著性检验：线性关系检验，回归系数检验利用回归直线进行预测，置信区间估计多元回归问题：多重共线性，过拟合问题，岭回归，LASSO回归
2023-09-08 00:13:51
657
原创 【AI】机器学习——朴素贝叶斯
贝叶斯定理——贝叶斯决策朴素贝叶斯分类器思想，条件独立性假设，朴素贝叶斯模型，朴素贝叶斯的后验概率最大化与期望风险最小化策略，朴素贝特斯算法条件独立性分析，期望最小化理解，拉普拉斯平滑，基于朴素贝叶斯的垃圾邮件过滤，版朴素贝叶斯分类器
2023-09-06 16:52:15
756
1
原创 【AI】机器学习——绪论
机器学习概念。目标，特点，SML三要素，步骤机器学习分类：参数化方法，概率模型，监督学习，无监督学习，强化学习，贝叶斯方法，核方法统计学习三要素：模型，策略，算法，常用损失函数，风险函数，期望损失，经验函数，平均损失，结构风险最小化模型误差，欠拟合，过拟合，泛化能力，交叉验证，正则化为什么防止过拟合监督学习分类：生成模型，判别模型频率派与贝叶斯派区别，
2023-09-04 15:00:26
1287
原创 【AI】数学基础——形式逻辑
AI与符号主义，一阶谓词逻辑 （命题与谓词逻辑关系，谓词逻辑）推理能力产生式系统，产生式系统组成，推理方式自动推理机分析，形式逻辑的本质问题——哥德尔不完备性定理认知可计算主义局限性
2023-08-31 01:22:20
447
原创 【AI】数学基础——数理统计（假设检验&数据处理）
假设检验：提出假设，构建检验统计量，根据显著性水平确定拒绝域临界值，计算统计量，根据临界值法决定是否拒绝原假设Z检验，T检验，卡方检假设检验中的两种错误，假设检验在监督学习中的作用数据处理，核函数，线性核函数，多项式核函数，高斯核函数熵，激活函数
2023-08-31 01:06:39
612
原创 【AI】数学基础——数理统计（概念&参数估计）
数理统计概念：概率论与数理统计区别，基本定理（大数定理，马尔科夫不等式，切比雪夫不等式，中心极限定理），统计推断的基本问题参数估计：频率派（点估计法：矩估计法，极大似然估计，点估计评估。区间估计法）贝叶斯派：贝叶斯定理，贝叶斯估计，贝叶斯预测，模型比较理论，垃圾邮件过滤
2023-08-31 00:58:54
529
原创 【AI】数学基础——概率论
随机事件：样本空间，随机事件，事件的概率，概率与频率，古典概率，条件概率，芝麻开门随机变量：概率函数，离散随机变量概率分布，连续随机变量，概率公理二维随机变量：联合函数，二维离散型随机变量，二维连续型随机变量，边缘分布数据的数字特征：数学期望，二维随机变量的数学期望，方差，协方差随机变量的分布：均匀分布，伯努利分布，二项分布，Beta分布，正态分布，泊松分布，指数分布，卡方分布
2023-08-30 18:01:19
290
原创 【AI】数学基础——线代（矩阵&特征值,特征向量&矩阵分解）
矩阵：二元方程组求解与行列式，矩阵形式表示数据，矩阵的秩，矩阵运算（加减法，数乘运算，矩阵乘向量），转置特征值&特征向量，特征空间矩阵分解
2023-08-29 21:46:52
277
原创 【AI】数学基础——线代（向量部分）
对象的表示线性空间：向量，向量空间，范数（模），向量运算（向量大小——模，向量间的相对位置——内积，向量乘向量），正交向量组与规范正交基，向量组的秩
2023-08-29 21:43:21
484
原创 【AI】数学基础——高数（函数&微分部分）
常见函数极限，无穷大，无穷小，连续性，间断性导数，导数的几何意义，可微，二元函数的导数(偏导，方向导)，梯度
2023-08-29 21:14:20
345
原创 【计算机系统概论Yale.patt】第二章
bit：信号的编码表示，计算机采用二进制的原因，数据类型，IEEE754进制转换：二转十，十转二，二转十六bit运算：加减法，逻辑运算（与或非异或），位矢量ASCII
2023-08-29 16:02:34
308
原创 【计算机系统概论Yale.patt】第三章
MOS管：P型MOS管，n型MOS管。逻辑门：与或非门的MOS管组合。摩根定律逻辑结构：组合逻辑（译码器，多路复用器，全加器，可编程阵列）存储单元（R-S锁存器，门控D锁存器，寄存器）内存：寻址空间，寻址能力时序电路：有限状态机，状态图，时钟，有限状态机的实现
2023-07-13 21:30:33
1387
原创 【数据结构与算法分析inC-MarkAllen】2-算法分析
算法评价的量化理论：四种渐进增长的定义与理解算法分析的目标与一般法则算法分析的计算方法：循环主体中的变量参与循环条件的判断：斐波那契数列；阶乘计算（模拟法优化递归）运算时间中的对数：折半查找，欧几里得求最大公约数，快速幂循环主体中的变量与循环条件无关：分治法算法分析，主方法最大子序列和问题空间复杂度随机数序列生成算法多项式计算（Hornor秦九韶算法）判断一个正整数是否为素数：埃氏筛法，欧氏筛法，六素数法
2023-05-30 13:03:37
854
1
原创 【C++】数据类型转换
隐式数据类型转换，显式数据类型转换static_cast const_cast reinterpret_cast dynamic_cast
2023-04-26 11:08:42
509
1
原创 【C++】面向对象
抽象思想的理解，类成员的访问控制，类的成员函数，对象的访问方式，成员函数的实现，内联成员函数构造函数：复制构造函数，析构函数，类的组合：前向引用声明，结构体与类对比UML类图临时对象继承与派生：派生类的定义与生成过程，继承方式派生类的构造函数和析构函数类型向上兼容，派生类成员的表示与控制，using关键字，虚基类，类对象的构造顺序多态性，多态及实现，运算符重载，虚函数，抽象类，重写与重载区别
2023-04-25 22:49:30
1669
原创 【计算机系统概论Yale.patt】第一章
计算机是简单部件的系统组合计算机组成：编码体系；晶体管构建微处理器；冯·诺依曼机；LC-3机(冯·诺依曼机实现)；LC-3编程：机器语言编程，汇编语言编程，输入输出信息问题，两个重要机制，栈和数据转换，示例：计算器；两个重要理念：抽象与封装，硬件和软件是等效的；CPU与计算机系统CPU——计算机；计算机系统两个重要思想：通用计算思想计算机类型，问题到电平计算机系统概论第一章课后题答案
2023-04-13 01:35:14
1472
原创 【数据结构与算法分析inC-MarkAllen】1-数学基础
数据结构与算法分析inC-MarkAllen第一章笔记与习题答案数据结构与算法分析目标，数学知识复习，递归原理
2023-04-11 22:08:27
959
原创 【杂项】git问题汇总
ssh-connect to host github.com port 22-Connection timed outgithub push权限
2023-04-04 17:03:02
635
原创 【环境与工具】IDE配置——IDEA配置
IDEA安装，IDEA目录结构，IDEA工程，编辑器设置，IDEA编译设置，快捷键，模板，静态JavaWeb和Tomcat，关联数据库，IDEA中使用git
2023-04-04 16:12:13
9839
原创 【hexo博客】hexo+NexT主题个人博客
hexo 搭建博客环境，NexT主题配置文件，修改hexoNext文章链接abbrlink，自动化构建，hexoNexT图片问题，点击图片放大，hexoNext数学公式mermaid,hexoNext博客文章置顶，hexoNexT添加看板娘，hexoNext主题优化
2023-04-04 01:02:47
946
原创 【环境与工具】IDE配置——vscode配置
vscode配置python编译环境，安装插件，跨文件调用vscode配置c++编译环境，单文件编译：修改配置文件指定本地编译器多文件编译：C/C++编译过程，cmake构建工程，cmake构建项目VScode 检测到#include错误，请更新includePath未定义标识符 cin，cout
2023-04-03 12:10:29
2744
原创 【系统与工具】系统环境——docker
docker原理，docker 与虚拟机区别，docker安装，docker常用操作，镜像操作，容器操作，docker开机启动，docker镜像开机启动
2023-04-03 00:46:01
678
原创 【系统与工具】系统环境——git使用及原理
版本控制工具特征与分类，git结构，git命令行操作,git本地库操作，查看git版本，git初始化，git配置信息，git状态查看,git 添加到暂存区git add，git添加到本地库git commit,git查看版本记录，git查看所有版本信息git reflog，版本管理git reset,比较文件差异git diff，分支管理git branch，分支切换git checkout，合并分支git merge，git stash，分支工作流，Git远程库操作，git原理，实现机制
2023-04-03 00:35:33
307
原创 【开发】中间件——RocketMQ
RocketMQ简介，下载部署，JavaAPI的使用，消息的顺序发送与接收，消息系统的事务，RocketMQ存储，重试策略，Rocket的集群，SpringBoot整合RocketMQ
2023-03-28 22:39:18
556
原创 【开发】中间件——ElasticSearch
ES简介与安装，ES的核心概念：文档，查询响应，批量操作，分页，映射，结构化查询，ES分词器，全文搜索，短语匹配，ES集群：使用docker搭建ES集群，故障转移问题，分布式文档，ES的Java客户端，
2023-03-28 20:26:54
2234
知晓云等云函数导出excel
2023-03-14
公费医疗报销系统啊啊啊
2022-11-25
typora官网提供的主题文件
2022-11-04
Sublime插件包.zip
2020-03-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人