2021年03月_Ctrlturtle

原创深度学习数据增强方法小结

数据至上: 深度学习依赖数据的数量和质量，很大程度影响模型性能的好坏数据增强: 利用现有的数据产生等价于数据扩增的价值，提高模型的泛化能力数据增强技术分为有监督的和无监督的有监督的数据增强图像领域的几何变换（如翻转，旋转，裁剪，变形，缩放等），颜色变换（如随机噪点，模糊，扰动，擦除填充）SMOTE: 基于K近邻随机插值，将小样本合并成新的样本，常用于解决数据不均衡的分类问题算法基本流程:第一步，定义好特征空间，将每个样本对应到特征空间中的某一点，根据样本不平衡比..

2021-03-26 17:09:42 1764

原创神经网络调优 --- batch_size

batchsize和收敛速度/性能的关系1. 一般来说，在合理的范围之内，越大的 batch_size 使下降方向越准确，震荡越小；但batch_size越大越容易陷入局部最优。2. 小的 bath_size 引入的随机性更大，单次epoch耗时更久，且震荡大难以收敛，但一般会获得更好的泛化性能。3. 同时，更小的bath_size需要更大的学习率learning_rate调参经验1. 当有足够算力时，选取batch size为32或更小一些，需要更长的训练耗时。2. 算力不够时，..

2021-03-16 11:36:54 1620 2

原创神经网络调优 ---学习率lr

Pytorch学习率调整策略通过 torch.optim.lr_sheduler 接口实现。pytorch提供的学习率调整策略分为三大类，分别是：有序调整：等间隔调整(Step)，多间隔调整(MultiStep)，指数衰减(Exponential)，余弦退火(CosineAnnealing);自适应调整：依训练状况伺机而变，通过监测某个指标的变化情况(loss、accuracy)，当该指标不怎么变化时，就是调整学习率的时机(ReduceLROnPlateau);自定义调整：通过自定义关于epoc..

2021-03-16 11:34:05 2433 2

原创深度学习移动端部署方案 --- MNN端侧推理引擎

MNN简介及应用场景一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理。MNN为提供面向不同业务算法场景，不同训练框架，不同部署环境的简单、高效、安全的端侧推理引擎 MNN 。能够抹平 Android 和 iOS 的差异，碎片设备之间的差异，不同训练框架的差异，实现快速的在端侧部署运行，并且能够根据业务模型进行 OP 灵活添加和 CPU/GPU 等异构设备深入性能优化。深度学习模型应用流程:模型训练---->模型导..

2021-03-15 10:28:27 1598

原创深度学习优化 --- 批标准化（知识总结&工作随记）

特征缩放的两种方法：归一化，标准化归一化/标准化的作用1.统计建模中，如回归模型，自变量X XX的量纲不一致导致了回归系数无法直接解读或者错误解读；需要将X XX都处理到统一量纲下，这样才可比；2.机器学习任务和统计学任务中有很多地方要用到“距离”的计算，比如PCA，比如KNN，比如kmeans等等，假使算欧式距离，不同维度量纲不同可能会导致距离的计算依赖于量纲较大的那些特征而得到不合理的结果；3.参数估计时使用梯度下降，在使用梯度下降的方法求解最优化问题时，归一化/标准化后可以加快梯度..

2021-03-09 11:18:23 301

原创机器学习数据预处理 --- 异常点检测（知识总结&工作随记）

异常检测算法 & PyoD算法库一般情况下，可以把异常检测看成是数据不平衡下的分类问题。但在现实情况中，异常检测问题往往是没有标签的，训练数据中并未标出哪些是异常点，因此必须使用无监督学习。引入PyOD库, 提供20多种异常值检测算法的APIpip install pyod前人经验:（来自zhihu/csdn）1. 不存在普遍意义上的最优模型，不过有些模型的表现一直不错，建议优先考虑。对于大数据量和高纬度的数据集，Isolation Forest算法的表现比较好。低维

2021-03-05 13:52:54 2247

原创 Conda常用命令行整理

conda更新# 更新condaconda --versionconda update conda环境管理conda create -n xxx python=3.5 # 创建python3.5的xxx虚拟环境conda activate xxx # 开启xxxx环境conda deactivate # 关闭环境conda env list # 显示所有的虚拟环境conda..

2021-03-02 15:13:53 395 1

Ctrlturtle的博客