- 博客(16)
- 收藏
- 关注
RSS订阅原创 Datawhale-深入浅出pytorch进阶训练技巧
本章学习了自定义损失函数，动态调整学习率，模型微调的技巧，通过半精度训练提升设备硬件性能（batch size较大时）对图片进行数据增加调整。使用标准库：argparse进行调参
2022-06-23 02:51:58
722
1
原创 Datawhale-深入浅出pytorch模型定义
通过：PyTorch模型定义的方式，利用模型块快速搭建复杂网络，修改模型，模型保存与读取。四个小节介绍PyTorch模型，加深对模型搭建的理解。
2022-06-20 01:16:31
539
原创 C++语法部分
参与Datawhale与青舟智学合作课程C++数据结构；笔记记录了1. 变量 2. 常量 3. 数据类型 4. 算术运算符与表达式 5. 位运算符与表达式 6. 关系与逻辑表达式 7. If语句
2022-04-16 02:37:01
900
转载 Datawhale-李宏毅深度学习/卷积神经网络
本文介绍了为什么使用CNN（卷积神经网络）。CNN的架构即通过convolution和max pooling不断重复，到目标程度后，通过flatten把数据平铺到神经网络中。Convolution与全连接之间的区别可以简单理解为，convolution只取出了部分参数做运算。Max pooling将得出来的结果，分成四份，每份取最大值或者平均值。（让image缩小）。flatten就是feature map拉直，之后丢到fully connected feedforward network
2022-03-27 21:54:09
136
原创 Datawhale-李宏毅深度学习/神经网络训练方法
神经网络训练不起来的情况下，可以考虑从以下几个方法进行调参，优化；1. 通过找到局部最小值或者鞍点。2. 批次与动量在梯度下降中的处理办法。3. 自动调整学习速率，主要有两种：Learning Rate Scheduling和Learning Rate Warm Up。4. 损失函数Loss带来的影响。通过Soft-max，MSE和交叉熵的方式减小Loss对准确率的影响。5. 批次标准化。中心思想是Feature Normalization让梯度下降收敛更快。系统中的值由独立变成互相关联。
2022-03-24 02:51:40
946
转载 Datawhale-李宏毅机器学习/深度学习简介
深度学习的步骤可以分为：第一步选择神经网络。神经网络也分为：完全连接前馈神经网络，实际的应用场景有手写数字识别。第二步模型评估，任何模型中，我们都要考虑到损失的因素。神经网络中，我们通过调参来让交叉熵越小越好。第三步选择最优函数。是通过梯度下降方法，找到最优的函数和最好的一组参数。也可以用Tensorflow，theano，Pytorch这些工具，或者用反向传播的思想。
2022-03-21 02:50:21
448
转载 Datawhale-李宏毅机器学习/梯度下降
梯度下降法如何来确定最适合的函数，首先考虑到了调整【学习速率】的方法。随后引入【Adagrad】算法；每个参数的学习率都把它除上之前微分的均方根。存在的矛盾是，梯度越大时，步伐应该越大，公式中分母又导致梯度越大，步伐变小。如果踏出去的步伐和微分成正比，可能是比较好的。（多个参数时，上述不一定成立）。多个参数时，一次微分成正比，二次微分成反比。【随机梯度下降法】：常规梯度下降法走一步要处理到所有二十个例子，但随机算法此时已经走了二十步（每处理一个例子就更新）。【特征缩放】梯度下降的数学理论基础
2022-03-19 02:43:56
167
转载 Datawhale-李宏毅机器学习/误差（偏差和方差）
本篇文章主要讲述了机器学习中，算法带来的偏差和方差。以及偏差大带来的欠拟合影响和方差大带来的过拟合影响。通过交叉验证方法或N-折交叉验证。将训练集分类成训练集和验证集。用训练集训练模型，然后再验证集上比较，确实出最好的模型之后。再用全部的训练集训练新模型。再用公开的测试集进行测试，反复调参，调整模型。
2022-03-19 01:27:28
134
转载 Datawhale-李宏毅机器学习/回归笔记
目录回归定义和应用例子回归定义应用举例模型步骤Step 1：模型假设 - 线性模型Step 2：模型评估 - 损失函数如何判断众多模型的好坏Step 3：最佳模型 - 梯度下降梯度下降推演最优模型的过程梯度下降算法在现实世界中面临的挑战w和b偏微分的计算方法w和b偏微分的计算方法如何验证训练好的模型的好坏更强大复杂的模型：1元N次线性模型过拟合问题出现步骤优化Step1优化：2个input的四个线性模型是合并到一个线性模型中Step
2022-03-17 02:09:16
288
转载 Datawhale-李宏毅机器学习/机器学习介绍
机器学习相关的技术如果讲的更务实一点的话，machine learning所做的事情，你可以想成就是在寻找一个function，要让机器具有一个能力，这种能力是根据你提供给他的资料，它去寻找出我们要寻找的function。还有很多关键问题都可以想成是我们就是需要一个function。在语音辨识这个问题里面，我们要找一个function，它的输入是声音讯号，他的输出是语音辨识的文字。这个function非常非常的复杂，有人会想说我来用一些写规则的方式，读很多语言学文献，然后写一堆规则，然后做语音辨识。
2022-03-15 01:35:36
196
原创 Datawhale西瓜书第五章神经网络
M-P神经元（模拟生物行为的数学模型）：接收n个输入（来自其他神经元），给各个输入赋予权重计算加权和自身特有的阙值θ进行比较（减法），经过激活函数（模拟抑制和激活）处理得到输出（传递给下一个神经元）单个M-P神经元：感知机（sgn作激活函数），对数几率回归（signmoid作激活函数）多个M-P神经元：神经网络每个神经元信号不一样，权重不一样f（x）就是一个激活函数完全可以抽象成一个线性模型阶跃函数对数几率回归感知机（统计学习方法）–李航老师0/1的分类 正样本=1 负样本=
2021-12-27 02:54:59
408
转载 学习笔记：Pandas数据处理基础
实验楼Pandas数据处理基础入门 学习笔记介绍Pandas 是非常著名的开源数据处理库，我们可以通过它完成对数据集进行快速读取、转换、过滤、分析等一系列操作。除此之外，Pandas 拥有强大的缺失数据处理与数据透视功能，可谓是数据预处理中的必备利器。知识点数据类型数据读取数据选择数据删减数据填充1.数据类型Pandas 的数据类型主要有以下几种，它们分别是：Series（一维数组），DataFrame（二维数组），Panel（三维数组），Panel4D（四维数组），PanelND（
2020-06-06 09:00:04
724
原创 小河与大家见面了
大家好，我是Akriver，也叫阿克河叫我小河也好。**关于我：**我是一个普通大学的大四电气学生，我在去年对人工智能这个领域产生了浓厚的兴趣。我发现学习编程的最好方法就是写博客，我决定从今天开始记录我关于C语言，Python语言，NLP，深度学习，机器学习等领域的学习心得，供大家交流学习。因为我本科时基本没有怎么学习过本学科的知识，难免会有错误产生，希望大家能够耐心解答。我希望三年后通过学习我可以去日本或者美国，欧洲读关于人工智能方面的研究生。未来会怎么样我不知道，但书写它的一定是我们自己。共
2020-05-20 11:11:33
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人