- 博客(10)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 TVM（端到端的优化栈）概述
陈天奇团队宣布推出 TVM，在微博上表示，「我们今天发布了 TVM，和 NNVM 一起组成深度学习到各种硬件的完整优化工具链，支持手机，cuda, opencl, metal, javascript 以及其它各种后端。欢迎对于深度学习，编译原理，高性能计算，硬件加速有兴趣的同学一起加入 dmlc 推动领导开源项目社区 。」大多数现有系统针对窄范围的服务器级 GPU 进行优化，且需要在包括手机、I...
2019-07-30 23:32:11
5898
原创 用tensorflow实现带批标准化（BN）的MNIST数据集识别训练程序
引入这也是笔者第一次接触面向对象版的神经网络程序——其实也不难发现，我们每一次定义的层级结构中有很多重复的定义或操作，一旦引入面向对象编程方法将大大提高程序的可复用性。并且我们本次要做的是带有BN结构的CNN程序。我们可以把BN操作看成一个放在激活函数操作之后的一个功能单元或层级结构，这样我们可以避免每次都定义一些重复的变量。BN的操作大体如下：对于每一个输入实例xkx_kxk，我们...
2019-07-23 13:23:01
982
原创 关于Batch Normalization（批标准化）的理解与代码实现
今天看了《深度学习》中关于批标准化的小节，一开始感觉有些困惑，后来搜集了资料后也有了自己的理解，总结如下。概念问题我认为要理解批标准化首先要理解标准化概念。那么，什么是标准化？通过中心化或标准化处理，得到均值为0，标准差为1的服从标准正态分布的数据。事实证明，一个神经网络接收一张白化（令像素点标准化）过后的图片作为输入数据，那么其收敛速度较快。那么将此实例延申，放入神经网络所有结构...
2019-07-23 00:26:06
2749
1
原创 深度学习中学习率的更新策略（MNIST实践）
引入随机梯度下降（SGD）算法是现如今使用较为广泛的优化算法（此处的SGD指的是小批量梯度下降）。具体执行方法是不断迭代直到满足停止准则，在每次的迭代中取小批量训练集，计算损失函数对于权重参数的梯度，并以一定学习率执行权重更新。《深度学习》一书中指出学习率（ε\varepsilonε）是SGD算法中的关键参数。并且在我之前所编写的深度学习程序中，学习率一直是一个固定的变量，但通过阅读才发现自己...
2019-07-20 23:09:57
3208
原创 numpy与tensorflow中的随机函数总结
笔者感觉numpy、tensorflow中的随机函数有些杂，用的时候总是不知道用哪一个，所以在本篇博客中对其进行一个简单的总结。numpy的随机函数我们可以利用numpy随机（random）模块生成我们想要的随机序列或进行一系列随机操作。常用api如下：np.random.randint(a, b)该函数用于生成一个指定范围 [a，b] 的整数。np.random.randn(d0,d...
2019-07-19 21:45:52
2621
原创 Tensor Comprehensions（TC）语言语法简述
背景Tensor Comprehensions 是一种可以构建 just in time（JIT）系统的语言，程序员可通过该语言用高级编程语言去高效的实现 GPU 等底层代码。该项目由face book开源发布。我的理解是我们通过该语言可以更加有效的理解张量、运算图等。虽然tensorflow已经有了tensorboard这样的可视化工具，但是在运算图的理解方面还是有些困难。语法示例下面给...
2019-07-17 15:45:41
1358
原创 CNN（卷积神经网络）实现手写数字识别并与django集成
任务设计一个卷积神经网络来实现对MNIST手写数字集的识别任务。为了增加模型复杂度并进一步练习tensorflow的使用方法，所以模型设计的稍微复杂一些。网路结构总共包括五个层级，包括四个隐藏单元、一个输出单元。 层级结构如下图所示包、数据集载入import tensorflow as tfimport numpy as npfrom tensorflow.examples.tuto...
2019-07-16 16:13:01
6259
2
原创 深度学习之手写数字识别——用bp神经网络实现
任务设计一个bp神经网络是实现对MNIST手写数字集的识别任务。网路结构包含一个输入层、一个隐层和一个输出层。 其实总共只有两个层级结构。包、数据集载入我们使用tensorflow来简化我们的操作。import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input...
2019-07-16 00:17:21
8631
原创 机器学习算法之主成分分析——代码实现与相关理论分析
引入主成分分析（PCA）是一种常见的数据分析方法，通过该方法我们可以对数据进行降维操作，并且保留方差较大（信息量大）的维度。为了引入相关概念，我们先看一组数据：import pandas as pdimport numpy as npimport matplotlib.pyplot as plt%matplotlib inline# 总共十个样本 每个样本有两个特征值data = ...
2019-07-13 15:17:00
668
原创 一文讲懂普通线性回归与贝叶斯线性回归的区别
将均方误差应用到线性回归问题中首先我们先回顾频率派的解决方法，即常规解法——利用最小二乘法解决问题。损失函数采用均方误差函数。关于模型容量问题：在《深度学习》中专门指出，模型的容量也是一个需要用户指定的超参数，即拟合的多项式次数。此处为了简化操作，暂定为一次多项式。解决代码如下：import numpy as npx = np.random.randn(10) + 5# 初始参数k...
2019-07-12 01:22:19
3268
ZYNQ-AX7020原理图、PCB图和引脚
2020-03-23
基于ZYNQ的FPGA基础入门.pdf
2020-03-22
I2C总线操纵EEPROM
2020-03-17
Genymotion-ARM-Translation_v2.0
2019-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人