机器学习杂记

最新推荐文章于 2023-12-24 23:16:41 发布
最新推荐文章于 2023-12-24 23:16:41 发布
阅读量185 收藏
点赞数
分类专栏： 深度学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jicong44/article/details/79580964
版权

过拟合处理方法：
早停
正则化
dropout
数据增广

避免局部极小值方法：

  • 以不同的初始值来训练网络，最终选取最小的。
  • 使用模拟退火技术。模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于跳出局部极小。在每一步迭代过程中，接受次优解的概率要随着时间的推移而逐渐降低，从而保证算法稳定。
  • 使用随机梯度下降。与标准梯度下降精确计算梯度不同，随机梯度下降算法在计算梯度时加入了随机因素。于是，即使陷入局部极小值，它计算的梯度仍有可能不为零，这样就有机会跳出局部极小。
    需要注意的是：以上算法大多是启发式方法，理论上缺乏保障。

Must know Tips/Tricks in deep neural networks：
数据增广
图像的预处理
网络的初始化
训练时的技巧
激活函数的选择
不同的正则化
从数据中的发现
同时使用多个神经网络的方法

被自己蠢哭了
关注
专栏目录
机器学习概念杂记
xiaomajv_zhao的博客
06-22 172
机器学习分为有监督学习和无监督学习 有监督：（K近邻，逻辑回归，决策树，随机森林，朴素贝叶斯，SVM） 有监督学习分为回归（SVM）和分类（K近邻，逻辑回归，决策树，随机森林，朴素贝叶斯） 无监督：（k-means） ...
周志华-机器学习-笔记（四）- 神经网络
Timmy_attack的博客
06-14 2175
神经元模型 　　神经网络中最基本的成分是神经元(neuron)模型。在生物神经网络中，每个神经元与其他神经元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个“阈值”(threshold)，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物资。 　　图5.1所示的简单模型就是沿用至今的“M-P神经元模型”。在这个模型中，神经...
常见跳出局部最小值策略
Touch_Dream的博客
04-12 1万+
现实任务中，人们常采用以下策略来试图“跳出”局部最小值，从而达到全局最小值： 1、以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数，这相当于从多个不同的初始化点开始搜索，从而可能寻找全局最优。 2、使用模拟退化技术，模拟退火在每一步都以一定的概率接受比当前解更差的结果，从而有助于“跳出”局部极小。在每步迭代过程中，接受“次优解”的概率随着时间的推移而逐渐降低
多层神经网络的局部最小值与全局最小值——The problem of convexity
hawkcici160的博客
04-09 2294
from : “The Loss Surfaces of Multilayer Networks” The image is from ：How neural networks are trained
模拟退火算法求解TSP问题
CICI❤️的博客
09-30 550
嘻嘻嘻，一篇好文章可以让你快速学习模拟退火算法求解旅行商问题 我觉得接下来的几节课老师应该就是将这个算法啦，学会了是不是就可以不用去了捏！ 作者用的是c++编写的程序，而且作者在程序中设置的是每个城市的坐标，也就默认city a 到city b的距离和city b 到city a的距离一样了，和老师题目要求的用非对称矩阵来描述城市之间的距离是不一样的。 下面我参考作者代码，按老师的要求用 pyth...
机器学习 杂记
qq_21141511的博客
10-26 160
正则化 https://www.zhihu.com/question/20924039
【机器学习杂记】Transformer
wjpwjpwjp0831的博客
10-26 419
零 前言 Transformer考虑之前提到的seq2seq问题：输出长度未知。 Seq2Seq的基本模型如下： 下面逐块解释。先说模型的大体框架是什么，然后再说Transformer当中是怎么做的。  \space  一 Encoder Encoder的任务就是输入一排向量，输出同等数量的向量。完成这个任务可以用Self-attention、CNN、RNN等。 Encoder的框图如下：  \space  可以看到，输入向量经过很多个Block再输出同等数量的向
【机器学习杂记】自注意力机制(Self-attention)
wjpwjpwjp0831的博客
10-25 1079
初学self-attention，是学习笔记，基于李宏毅老师的课程。有缘人看到的话若有错误的不完善的地方还请指出，不胜感激！  \space  零 引出 有时候我们的模型具有复杂的输入，例如不定长的向量集合。例如语音识别、机器翻译等任务，其输入是不定长的。 在这种应用背景下，输出有两种: 一是每个输入向量都有一个对应的输出，例如词性判(POS tagging)；对于一个graph，决定每个节点的特性(例如根据一个社交网络做个性化推荐) 二是一整个输入的sequence只对应一个输出的l
机器学习笔记 - 杂记三
学以致用 知行合一
03-28 2106
1、sklearn中svm模型的保存与加载调用 2、panda中删除一列的方法 3、cannot import name joblib from sklearn.externals 4、sklearn中KFold与StratifiedKFold 5、pandas删除满足条件的行 6、pandas drop函数参数 7、使用Sklearn创建测试数据集 8、最小二乘法简述
机器学习笔记 - 杂记一
学以致用 知行合一
05-17 7093
1、colab 2、google drive 3、反向传播 4、标量、向量、张量 5、Keras加载模型进行继续训练 6、Keras噪声层Noise
机器学习笔记 - 杂记二
学以致用 知行合一
09-20 3365
1、检测gpu是否可用 2、Weka：Java 机器学习软件 3、IOU指标计算 4、BLAS 线性代数库简介 5、常用深度学习图像/视频数据标注工具
机器学习(一) 本文(3万字) | 机器学习概述 |
最新发布
weixin_44302770的博客
12-24 904
统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习(statistical machine learning） 统计学习的主要特点是：(1)统计学习以计算机及网络为平台，是建立在计算机及网络上的：(2)统计学习以数据为研究对象，是数据驱动的学科：(3)统计学习的目的是对数据进行预测与分析：(4)统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析：(5)统计学习是概率论、统计学、信息论、
编译caffe错误及方法总结
热门推荐
jicong44的博客
05-16 1万+
本文是用anaconda装caffe的。 主要参考资料： https://blog.csdn.net/e01528/article/details/79529905 https://blog.csdn.net/sinat_14916279/article/details/53844963 这里面也用到了好多错误解决方法： https://www.jianshu.com/p/a718667...
cuda_device_functions.h:32:31: fatal error: cuda/include/cuda.h: 没有那个文件或目录
jicong44的博客
06-25 1万+
Light Head RCNN编译问题 根据https://github.com/zengarden/light_head_rcnn进行编译的过程中，在lib下运行bash make.sh，会报两个相似的错误，一个是psalign_pooling，一个是psroi_pooling。错误如下： /home/tf/anaconda3/lib/python3.6/site-packages/te...
PANet网络简介
jicong44的博客
11-30 1万+
个人总结简介Bottom-up Path Augmentation待解决：Adaptive Feature Pooling待解决：Fully-connected Fusion 先上论文链接：https://arxiv.org/abs/1803.01534 欢迎交流 简介 这篇论文总体上是Mask-Rcnn的改进版本，整体思路是提高信息流在网络中的传递效率。第一个改进：为了提高低层信息的利用率，加快...
将VOC转化为coco数据
jicong44的博客
06-27 4296
在跑SNIPER时，需要用到coco数据，所以进行了转化。后期由于需要用到一个预训练的pkl文件，没能跑成功，所以不知道数据能不能用，不管怎样，先记录下来吧。 对图片和txt进行重命名 #coding=utf-8 import os import cv2 img_dir='/media/tf/Elements/deetct_car/data_1000/VOCdevkit2007/VOC...
RetinaNet
jicong44的博客
01-15 1901
结构描述： 输入：图片 输出：一组anchors对应的回归和分类预测值。 流程： ResNet有四个阶段：通道数分别为（64,128,256,512） RetinaNet选取后三个阶段，C3，C4，C5，然后利用这三组特征图通过上采样和下采样得到P3,P4,P5,P6,P7五个特征图，这五个特征图的通道数都为256,大小依次递减。 在每组P特征图上分别进行回归和分类的卷积，其中回归卷积后通道数为 ...
机器学习常用算法解析
"3.机器学习常用算法.pdf" 这篇资料详细介绍了机器...总结起来，这份资料是全面介绍机器学习算法的宝贵资源，涵盖了基本概念、主流算法以及不同类型机器学习的概览，对于想要了解或提升机器学习技能的人来说极具价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值