- 博客(314)
- 收藏
- 关注
RSS订阅原创 66.神经网络架构搜索（NAS）
NAS（Neural Architecture Search）的出现就是为了解决如何通过机器策略和自动化的方式设计出优秀高效的网络。2015至2017年间，是CNN网络设计最兴盛的阶段，大多都是由学者人工设计的网络结构。这个过程通常会很繁琐。搜索策略， 即如何搜索，定义了如何快速、准确找到最优的网络结构参数配置的策略。目前，NAS也是AUTOML中最重要的部分。NAS通常会分为三个方面。搜索空间，即在哪搜索，定义了优化问题所需变量。评价预估，定义了如何高效对搜索的评估策略。
2023-10-30 14:41:47
231
原创 65.AutoML-1
一、优秀的数据预处理；二、合适的模型结构和功能；三、优秀的训练策略和超参数；四、合适的后处理操作；五、严格的结果分析。这几方面都对最终的结果有着举足轻重的影响，这也是目前的数据工程师和学者们的主要工作。但由于这每一方面都十分繁琐，尤其是在构建模型和训练模型上。而大部分情况下，这些工作有无须过深专业知识就能使用起来。所以AutoML主要的作用就是来帮助实现高效的模型构建和超参数调整。例如深度学习网络的架构搜索、超参数的重要性分析等等。
2023-10-16 11:00:04
231
原创 64.合理使用预训练网络-3
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-07-18 17:57:08
827
原创 63.合理使用预训练网络-2
而二阶段模型由于并不是严格的端对端训练，此时可能需要更多的迭代次数以及时间，而一阶段检测模型训练会相对更容易些（例如DSOD以ScratchDet及）。 结合FAIR相关的研究，可以了解目标检测和其他任务从零训练模型一样，只要拥有足够的数据以及充分而有效的训练，同样能训练出不亚于利用预训练模型的检测器。 4、由于分类模型存在对多目标的捕捉能力弱以及对物体空间位置信息不敏感等问题，可借鉴DetNet训练一个专属于目标检测的模型网络，增强对多目标、尺度和位置拥有更强的适应性。
2023-06-07 15:18:07
498
原创 62.合理使用预训练网络-1
微调（fine-tune），顾名思义指稍微调整参数即可得到优秀的性能，是迁移学习的一种实现方式。微调和从头训练（train from scratch）的本质区别在于模型参数的初始化，train from scratch通常指对网络各类参数进行随机初始化（当然随机初始化也存在一定技巧），随机初始化模型通常不具有任何预测能力，通常需要大量的数据或者特定域的数据进行从零开始的训练，这样需要训练到优秀的模型通常是稍困难的。
2023-06-06 17:35:47
514
1
原创 61.在极端批样本数量下训练网络
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-05-31 10:18:33
445
原创 60.网络训练中的超参调整策略—学习率调整2
余弦衰减，即余弦版本的cycle策略，作用与多项式衰减中的cycle相同。区别在于余弦重启衰减会重新回到初始学习率，拉长周期，而多项式版本则会逐周期衰减。噪声线性余弦衰减，即在线性余弦衰减中加入随机噪声，增大寻优的随机性。余弦衰减，即按余弦函数的方式衰减学习率，如图。逆时衰减，这种方式和指数型类似。线性余弦衰减，主要应用于增强学习领域。
2023-05-30 14:30:00
699
原创 59.网络训练中的超参调整策略—学习率调整1
此外，需要注意的是参数cycle，cycle对应的是一种周期循环调整的方式。这种cycle策略主要目的在后期防止在一个局部极小值震荡，若跳出该区域或许能得到更有的结果。这里说明cycle的方式不止可以在多项式中应用，可配合类似的周期函数进行衰减，如下图。有别于上述两种，多项式衰减则是在每一步迭代上都会调整学习率。主要看Power参数，若Power为1，则是下图中的红色直线；若power小于1，则是开1/power次方，为蓝色线；分段设置学习率法，跟指数型类似，区别在于每个阶段的衰减并不是按指数调整。
2023-05-29 15:52:41
664
原创 58.网络训练中的超参调整策略—如何调试模型
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-05-17 17:34:58
321
原创 56.超参数概念-1
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-05-15 16:32:34
376
原创 55.在手机上使用PaddleMobile实现图像分类-2
2、在main目录下创建l两个assets/paddle_models文件夹，这个文件夹存放PaddleFluid训练好的预测模型。1、首先使用Android Studio创建一个普通的Android项目，包名为。文件夹，这个文件夹是存放CPP编译库的，在本项目中就存放上一部分编译的。的函数，对应的是里面的函数。目前支持一下几个接口。8、最后运行项目，选择图片预测就会得到结果。因为使用到图像加载框架Glide，所以要在。的Java程序，这个程序的作用就是调用。
2023-05-11 17:34:41
409
原创 54.在手机上使用PaddleMobile实现图像分类-1
6、最后会在paddle-mobile/build/release/arm-v7a/build目录下生产paddle-mobile库。libpaddle-mobile.so就是我们在开发Android项目的时候使用到的paddle-mobile库。3、安装cmake，需要安装较高版本的，笔者的cmake版本是3.11.2。安装完成之后，可以使用cmake --version是否安装成功.5、进入到paddle-mobile的tools目录下，执行编译。2、设置NDK环境变量，目录是NDK的解压目录。
2023-05-10 17:05:27
417
原创 53.MDL、NCNN和 TFLite比较
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-05-09 15:27:14
787
原创 52.现有移动端开源框架及其特点—PocketFlow-2
在 CIFAR-10 数据集上，PocketFlow 以 ResNet-56 作为基准模型进行通道剪枝，并加入了超参数优化和网络蒸馏等训练策略，实现了 2.5 倍加速下分类精度损失 0.4%，3.3 倍加速下精度损失 0.7%，且显著优于未压缩的 ResNet-44 模型；相比于费时费力的人工调参，PocketFlow 框架中的 AutoML 自动超参数优化组件仅需 10 余次迭代就能达到与人工调参类似的性能，在经过 100 次迭代后搜索得到的超参数组合可以降低约 0.6% 的精度损失；
2023-05-08 14:27:12
298
原创 51.现有移动端开源框架及其特点—PocketFlow-1
全球首个自动模型压缩框架一款面向移动端AI开发者的自动模型压缩框架，集成了当前主流的模型压缩与训练算法，结合自研超参数优化组件实现了全程自动化托管式的模型压缩与加速。开发者无需了解具体算法细节，即可快速地将AI技术部署到移动端产品上，实现了自动托管式模型压缩与加速，实现用户数据的本地高效处理。PocketFlow 框架主要由两部分组件构成，分别是模型压缩/加速算法组件和超参数优化组件，具体结构如下图所示。
2023-04-20 10:43:36
156
原创 50.现有移动端开源框架及其特点—FeatherCNN与TensorFlow Lite
Google 表示 Lite 版本 TensorFlow 是 TensorFlow Mobile 的一个延伸版本。此前，通过TensorFlow Mobile API，TensorFlow已经支持手机上的模型嵌入式部署。TensorFlow Lite可以与Android 8.1中发布的神经网络API完美配合，即便在没有硬件加速时也能调用CPU处理，确保模型在不同设备上的运行。而Android端版本演进的控制权是掌握在谷歌手中的，从长期看，TensorFlow Lite会得到Android系统层面上的支持。
2023-04-15 12:30:00
547
原创 49.现有移动端开源框架及其特点—MACE（ Mobile AI Compute Engine）
MACE 支持 TensorFlow 和 Caffe 模型，提供转换工具，可以将训练好的模型转换成专有的模型数据文件，同时还可以选择将模型转换成C++代码，支持生成动态库或者静态库，提高模型保密性。MACE定义了自有的模型格式（类似于Caffe2），通过MACE提供的工具可以将Caffe和TensorFlow的模型 转为MACE模型。模型部署文件详细描述了需要部署的模型以及生成库的信息，MACE根据该文件最终生成对应的库文件。将TensorFlow 或者 Caffe的模型转为MACE的模型。
2023-04-14 10:17:40
491
原创 48.现有移动端开源框架及其特点—MDL（mobile-deep-learning）
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-04-13 14:19:40
445
原创 47.现有移动端开源框架及其特点—Prestissimo
像华为mate8, mate9，Google nexus 6 虽然是64位的CPU，但测试用的是 32位的库，因此cpu架构依然写 arm-v7a。: 手机测试性能存在一定的抖动，连续多次运算取平均时间。
2023-04-12 15:34:10
563
原创 46.现有移动端开源框架及其特点——QNNPACK-2
MobileNetV2大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-04-06 12:00:00
364
原创 43.常用的轻量级网络——ShuffleNet-v2
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-03-31 14:30:00
223
原创 42.常用的轻量级网络——ShuffleNet-v1
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-03-30 16:59:25
394
原创 41.常用的轻量级网络——Xception
Xception是Google提出的，arXiv 的V1 于2016年10月公开《Xception: Deep Learning with Depthwise Separable Convolutions 》，Xception是对Inception v3的另一种改进，主要是采用depthwise separable convolution来替换原来Inception v3中的卷积操作。
2023-03-22 14:55:56
259
原创 40.常用的轻量级网络——MobileNet-v2
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-03-21 11:30:00
284
原创 38.常用的轻量级网络——SequeezeNet
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-03-13 14:30:00
210
原创 37.网络结构与模型压缩、加速-4
模型中分支数量越少，模型速度越快元素级操作所带来的时间消耗也不能忽视大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-02-17 16:00:00
492
原创 35.网络结构与模型压缩、加速-2
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-02-15 10:05:50
448
原创 34.网络结构与模型压缩、加速-1
H∗W∗C1H1∗W1∗C1C2H1∗W1∗C2AH∗W∗h1∗w1∗c1∗c2BH∗W∗h1∗w1∗c1/g∗c2/g∗gABH∗W∗h1∗w1∗c1∗c2H∗W∗h1∗w1∗c1/g∗c2/g∗gg1。
2023-01-31 17:03:38
249
原创 33.深度学习模型优化加速方法-2
１）对于在线计算内存存储有限的应用场景或设备，可以选择参数共享和参数剪枝方法，特别是二值量化权值和激活、结构化剪枝．其他方法虽然能够有效的压缩模型中的权值参数，但无法减小计算中隐藏的内存大小（如特征图）．。２）如果在应用中用到的紧性模型需要利用预训练模型，那么参数剪枝、参数共享以及低秩分解将成为首要考虑的方法．相反地，若不需要借助预训练模型，则可以考虑紧性滤波设计及知识蒸馏方法．。３）若需要一次性端对端训练得到压缩与加速后模型，可以利用基于紧性滤波设计的深度神经网络压缩与加速方法．。
2023-01-30 16:40:28
429
1
原创 32.深度学习模型优化加速方法-1
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-01-06 17:16:10
652
原创 31.深度学习模型压缩方法-5
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2023-01-05 17:45:43
327
原创 30.深度学习模型压缩方法-4
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2022-12-23 16:00:00
911
原创 28.深度学习模型压缩方法-2
大数据视频推荐：网易云课堂CSDN人工智能算法竞赛实战AIops智能运维机器学习算法实战ELK7 stack开发运维实战PySpark机器学习从入门到精通AIOps智能运维实战腾讯课堂大数据语音推荐：ELK7 stack开发运维企业级大数据技术应用大数据机器学习案例之推荐系统自然语言处理大数据基础人工智能：深度学习入门到精通
2022-12-21 16:46:14
505
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人