![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习笔记
文章平均质量分 56
深度学习笔记
libo-coder
DeepLearning / Computer Vision / OCR
展开
-
『深度学习笔记』深度学习笔记 — 特征工程
文章目录一、特征选择1.1 Filter 方法1.2 Wrapper 方法1.3 Embedded 方法 一、特征选择 特征选择主要有三种方式: 1.1 Filter 方法 主要思想: 对每一维特征进行“打分”,即给每一维的特征赋予权重,这样的权重即代表了该维特征的重要性,然后根据权重排序。 主要方法: Chi-squared test 卡方检验 information gain 信息增益 correlation coeficient scores 相关系数 1.2 Wrapper 方法原创 2021-03-04 13:16:44 · 494 阅读 · 2 评论 -
『深度学习笔记』深度学习笔记 — 模型优化
一、最优化算法 1. 梯度下降 (1) 批量梯度下降 BGD 对整个数据集求梯度,然后对权重进行更新。 优点:对凸优化问题可以收敛到全局最小值,对非凸优化问题至少可以收敛到局部最小值; 缺点:速度较慢;不能进行在线学习;开销较大 (2) 随机梯度下降 SGD 优点:相比于 BGD,SGD 下降速度更快,可以在线学习 缺点:参数更新误差较大,甚至不能达到局部最优 (3) 小批次梯度下降 2. 优化器 Adam 利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率 优点:主要在于经过偏置校正之后,原创 2020-12-11 11:16:44 · 266 阅读 · 0 评论 -
『深度学习笔记』深度学习笔记 — 评价指标
文章目录一、评价指标1.1 正确率1.2 错误率1.3 灵敏度1.4 特异性1.5 召回率1.6 精度1.7 F1 score 一、评价指标 1.1 正确率 正确率是我们最常见的评价指标,accuracy = (TP + TN) / (P + N),正确率是被分对的样本数在所有样本数中的占比,通常来说,正确率越高,分类器的表现性能越好。 1.2 错误率 错误率与正确率相反,描述被分类器错分的比例,error = (FP + FN) / (P + N),对于一个实例来说,分对与分错是互斥事件,所以 e原创 2021-03-04 14:55:39 · 352 阅读 · 1 评论 -
『TensorFlow』Tensorflow不同版本要求与CUDA及CUDNN版本对应关系
文章目录一、Windows1.1 CPU1.2 GPU二、Linux2.1 CPU2.2 GPU三、macOS3.1 CPU3.2 GPU 一、Windows Windows端:https://tensorflow.google.cn/install/source_windows 1.1 CPU 1.2 GPU 二、Linux Linux端:https://tensorflow.google.cn/install/source 2.1 CPU 2.2 GPU 三、macOS 3.1 CPU原创 2021-01-27 17:53:07 · 527 阅读 · 0 评论 -
『深度学习笔记』CNN 网络设计中精巧通用的“小”插件
文章目录前言一、STN (空间变换器)1.1 核心解析1.2 核心代码二、ASPP2.1 核心解析2.2 核心代码三、Non-local3.1 核心解析3.2 核心代码四、SE4.1 核心解析4.2 核心代码五、CBAM5.1 核心解析参考链接 前言 所谓“插件”,就是要能锦上添花,又容易植入、落地,即真正的即插即用。本文盘点的“插件”能够提升 CNN 平移、旋转、scale 等变性能力或多尺度特征提取,感受野等能力,在很多 SOTA 网络中都会看到它们的影子。 所谓“插件”,就是不改变网络主体结构,原创 2021-01-18 21:14:31 · 773 阅读 · 1 评论 -
『深度学习笔记』深度学习笔记 — 拟合问题
一、出现过拟合的原因 训练集的数量级和模型的复杂度不匹配。训练集的数量级要小于模型的复杂度; 训练集和测试集特征分布不一致; 样本里的噪音数据干扰过大,大到模型过分记住了噪音特征,反而忽略了真实的输入输出间的关系; 权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征。 二、解决方案 (simpler model structure、 data augmentation、 regularization、 dropout、early st原创 2020-12-08 15:27:37 · 396 阅读 · 1 评论