神经网络
BRUCE_WUANG
这个作者很懒,什么都没留下…
展开
-
人工智能能力构建之路
部署推理采用INT8;训练采用fp32;Caffe训练分为两个过程:一、浮点型模型的训练:训练过程一定要有BN层:1. 更好的收敛;2. 使量化误差更小;预处理减均值,归一化到[-1,1]。二、定点化训练:a.量化层:单独放置data、conv层。b.训练几百次左右,主要是根据batch的图片确定最佳q_x,每个batch都会得到一个q_x,微调权重。如何确定最佳q_x:随机挑个图片...原创 2020-04-10 21:37:47 · 3846 阅读 · 0 评论 -
一张图了解人工智能、机器学习、深度学习的关系
原创,不得用于任何商业用途, 转载请联系博主。原创 2020-03-11 11:40:16 · 3831 阅读 · 0 评论 -
所有博客总结
1. cs231n 系列文章cs231n (一)图像分类识别讲了KNNcs231n (二)讲了线性分类器:SVM和SoftMaxcs231n (三)优化问题及方法cs231n (四)反向传播cs231n (五)神经网络 part 1:构建架构cs231n (六)神经网络 part 2:传入数据和损失cs231n (七)神经网络 part 3 : 学习和评估cs231n (八)神经网...原创 2020-03-10 15:01:58 · 926 阅读 · 0 评论 -
PYTORCH与TENSORFLOW:哪种框架最适合您的深度学习项目?
如果您正在阅读本文,则可能已经开始了深度学习的旅程 。为了帮助开发这些架构,诸如Google,Facebook和Uber之类的技术巨头已经发布了适用于Python深度学习环境的各种框架,从而使学习,构建和训练多样化的神经网络变得更加容易。在本文中,我们将研究两个流行的框架并进行比较:PyTorch与TensorFlow。简要地比较一下,最常用和依赖的Python框架TensorFlow和Py...原创 2020-03-03 22:34:29 · 2528 阅读 · 0 评论 -
一种深度学习方法---迁移学习
接下来我会介绍关于迁移学习的以下内容。它是什么?它是如何工作的?为什么使用它?什么时候使用?转移学习的方法: 训练模型;使用预先训练的模型;和特征提取总结:进一步阅读1. 什么是迁移学习?迁移学习: 遇到一个新问题,不是从头训练一个网络模型,而是在现有的预训练模型上,再次训练或者直接使用。因为他可以用较少的数据来训练深度神经网络,如果你数据不足,可以考虑下迁移学习。现在大多...原创 2020-02-14 21:48:12 · 3755 阅读 · 0 评论 -
秋招人工智能笔试题
秋招人工智能笔试题1. 深度学习和过往的神经网络训练方法有什么区别?列举几种深度学习的loss function,并说明意义深度学习是一种方法,神经网络是个模型,深度学习方法呢可以有效解决层数多的神经网络不好学习的问题,为了让层数较多的多层神经网络可以训练,能够起作用并演化出来的一系列的 新的结构和新的方法;结构:一般分为两大阵营,CNN,RNN,感觉这里欠妥,请指正。方法:权重初始化...原创 2018-11-04 15:33:06 · 6762 阅读 · 0 评论 -
# [cs231n (九)卷积神经网络 ][1]
cs231n (九)卷积神经网络 标签(空格分隔): 神经网络文章目录[cs231n (九)卷积神经网络 ][1]0.回顾1. 引言2. 总体概述3. 构建卷积网络的每个层1. 卷积层2. pooling池化层3. 归一化层4. 全连接层5. 全连接层转化为卷积层4. 如何构建卷积神经网络的结构1. 层的排列方式2. 层的大小设置规律3. 相关案例学习(LeNet/ AlexNet/ ZFNe...原创 2018-09-23 20:17:35 · 1168 阅读 · 0 评论 -
# [cs231n (八)神经网络总结:最小网络案例研究 ][1]
cs231n (八)神经网络总结:最小网络案例研究 标签(空格分隔): 神经网络文章目录[cs231n (八)神经网络总结:最小网络案例研究 ][1]0.回顾1. 引言2. 生成一些数据3. 训练一个softmax线性分类器1. 初始化参数2. 计算分数3. 计算loss4. 反向传播法计算梯度6. 现在就可以合并一下得到softmax分类器4. 训练神经网络5. 总结0.回顾cs23...原创 2018-09-23 20:17:00 · 899 阅读 · 0 评论 -
# [cs231n (七)神经网络 part 3 : 学习和评估 ][1]
cs231n (七)神经网络 part 3 : 学习和评估 标签(空格分隔): 神经网络文章目录[cs231n (七)神经网络 part 3 : 学习和评估 ][1]0.回顾1.引言2. 梯度检验3. 做到:合理性检查4. 接下来检查整个学习过程1. 损失函数2. 训练和验证集精度3. 权重更新4. 层激活数及梯度分布情况5. 参数更新1. 随机梯度下降2. 学习率退化3. 二阶法4. 逐层层...原创 2018-09-23 20:16:21 · 1327 阅读 · 0 评论 -
# [cs231n (六)神经网络 part 2:传入数据和损失 ][1]
cs231n (六)神经网络 part 2:传入数据和损失 标签(空格分隔): 神经网络文章目录[cs231n (六)神经网络 part 2:传入数据和损失 ][1]0.回顾1. 引言2. 初始化数据和模型1. 数据预处理阶段**处理方式:****白化和PCA**2. 权重初始化3.批归一化4. 正则化3. 损失函数4. 总结0.回顾cs231n (一)图像分类识别讲了KNNcs23...原创 2018-09-23 20:15:32 · 1011 阅读 · 0 评论 -
# [cs231n (五)神经网络part 1 构建架构 ][1]
cs231n (五)神经网络part 1 构建架构 标签(空格分隔): 神经网络文章目录[cs231n (五)神经网络part 1 构建架构 ][1]0.回顾1. 引言2. 构建一个神经元1. 生物启发下?2. 线性分类的单个神经元3. 常用的激活函数3. 神经网络的结构是啥样子的嘞?1. 分层可视化2. 给前向传播举个例子吧3. 网络的表达能力4. 层数和尺寸怎么设置呢?4. 总结5. 参考...原创 2020-02-14 09:37:23 · 1107 阅读 · 0 评论 -
# cs231n (四)反向传播
cs231n (四)反向传播标签(空格分隔): 神经网络文章目录cs231n (四)反向传播0.回顾1.引言2. 通过简单表达式理解梯度3. 链式法则计算复合函数4. 如何理解反向传播5. 模块化:Sigmoid6. 实践反向传播:分段7. 反向梯度流的模式8. 向量化计算梯度啦9. 总结一下呗10 下节预告转载和疑问声明0.回顾cs231n (一)图像分类识别讲了KNNcs231n...原创 2018-09-23 20:13:28 · 1371 阅读 · 0 评论 -
# cs231n (三)优化问题及方法
cs231n (三)优化问题及方法标签(空格分隔): 神经网络文章目录cs231n (三)优化问题及方法0.回顾1.引言2. 损失函数是什么东东?3. 最优化办法1:随机搜索(不好)办法2:随机本地试探方法3:跟随梯度--->望眼欲穿法4. 梯度计算5. 微分分析计算梯度6. 梯度下降7. 小批量数据梯度下降(Mini-batch GD):8. Summary转载和疑问声明0.回顾...原创 2018-09-23 20:12:16 · 1191 阅读 · 0 评论 -
# cs231n (二)线性分类器
cs231n (二)线性分类器标签(空格分隔): 神经网络文章目录cs231n (二)线性分类器0.回顾1.线性分类从图像到标签分值的参数化映射理解线性分类器损失函数2.支持向量机(SVM)实际考量3.Softmax分类器重mei点yong:什么? C是多少?4.SVM和Softmax的比较5.总结6. 下季预告转载和疑问声明0.回顾cs231n (一)图像分类识别讲了KNNk-N...原创 2018-09-23 20:10:19 · 1282 阅读 · 2 评论 -
# cs231n (一)神经网络介绍
cs231n (一)神经网络介绍标签(空格分隔): 神经网络文章目录cs231n (一)神经网络介绍0.介绍图像分类1.最近邻分类器2.K-近邻分类器([其他分类器][10])3.超参数调整的验证集4.最近邻分类器优缺点5.总结转载和疑问声明本课程首先介绍了关于计算机视觉的相关知识和背景0.介绍图像分类动机: 图像分类是计算机视觉的核心问题之一。例子: 图像分类模型是获取单个图像并分...原创 2018-09-23 20:08:27 · 991 阅读 · 0 评论 -
# cs231n 深度学习与计算机视觉(资料汇总)--代码及说明 python3.x和python2.x的版本(每次更新完成的作业)
cs231n 深度学习与计算机视觉(资料汇总)–代码及说明 python3.x和python2.x的版本(每次更新完成的作业)标签(空格分隔): 神经网络1. 知乎翻译笔记2. 作业介绍tricks 重要3. Youtube视频地址4. 网易云中文字幕视频地址5. cs231n每年的ppt链接地址6. 2017视频英文地址7. 斯坦福CS231n学习笔记:博客8. cs231n...原创 2018-09-23 20:03:57 · 1715 阅读 · 0 评论