- 博客(10)
- 收藏
- 关注
RSS订阅原创 深度学习第二天
梯度下降目的：使损失函数值最小求损失函数对各个参数的偏导数w(2) = w(1) -lr * 偏导数小心调整lr，如果太小,训练时间太长，如果太大，可能出现震荡，错过最优解。解决思路:为每个参数更新提供不同的Lr随机梯度下降，每次取出一个样本计算损失，对参数进行更新特征缩放...
2022-03-14 16:03:35
3731
原创 正则表达式
1 \d表示可以匹配一个数字，\w表示可以匹配一个数字或者字母匹配成功返回一个match对象，不匹配则返回None2. .匹配任意字符3.在正则表达式中*表示任意个字符（包括0 个）+表示至少有个 ？表示0个或者1个，用{n}表示n个字符，用{n,m}表示n-m个字符： \s匹配一个空格4.要做到更精确的匹配，用[]限制范围...
2022-03-04 20:44:41
149
原创 极大似然估计与交叉熵损失
神经网络训练过程：定义基本迷模型---->定义损失函数--->定义优化算法（以最小化损失函数为目标，求解权重）1.SSE:2.MSE3.交叉熵损失（对数损失）极大似然估计...
2022-02-12 08:53:56
627
原创 张量的线性代数运算
1.矩阵的转置2.创建单位矩阵3。对角矩阵5.去上下三角矩阵6.点乘运算 ，只支持一维张量7.矩阵乘法8.批量矩阵相乘9.相乘在相加10.矩阵的迹（对角线元素之和）11.矩阵的秩12.矩阵的行列式13.逆矩阵14.矩阵的分解（1）特征分解...
2022-02-08 08:54:27
687
原创 张量的创建和常用方法
1.查看张量维度2.查看张量形状3.查看张量内所拥有数的总数4.改变张量形状5.创建全零张量6.创建单位矩阵7.常见初始化8.将零维张量转为数9。深拷贝
2022-02-06 09:29:12
1929
原创 欠拟合与过拟合，模型正则与超参数调优
如何解决过拟合问题1.获取更多的训练数据2.正则化（调节模型大小或者增加正则项）3.Dropout随机失活减少了参数，降低模型容量，防止过拟合。---------------------------------------------------------------------------------------------------------------------------------------超参数优化方法...
2022-01-16 22:58:39
1725
原创 梯度下降算法改进
1.动量法目标:改进梯度下降算法存在的问题，即见效振荡，加速通向谷底。改进思想：利用累加历史梯度信息更新梯度。优势：可以冲出局部最小点和鞍点，找到最优解。2.自适应梯度思想：减小振荡方向步长，增大平坦方向步长来减小振荡，加速通往谷底。3Adam...
2022-01-16 22:01:12
2170
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人