- 博客(16)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 VGG_imagenet.npy 下载
链接: https://pan.baidu.com/s/1TUmspS9HKcPZP5NYO6nSzg&shfl=shareset 提取码: er4f
2019-10-20 09:53:20
1254
原创 深度学习 主机配置和安装总结
2019年5月底的配置：RTX2080TI 8999元，11g，微星的卡金士顿16g2 629元2机箱 冷酷至尊 685元电源850w 949元msi主板 z390 edge ac 1459元 （支持X8+X8)cpu i5 8500 1699元硬盘 4t wd 639元intel ms2 ssd 512g 729元总结在1万6左右。主要说一下安装过程碰到的问题：安装过程参考...
2019-05-29 11:11:58
3393
3
原创 LSTM的工作原理分析
简述LSTM的工作原理。它是如何记住文本的？下面分析LSTM工作原理：存储单元中管理向单元移除或添加的结构叫门限，有三种：遗忘门、输入门、输出门。门限由sigmoid激活函数和逐点乘法运算组成。前一个时间步骤的隐藏状态，一个送到遗忘门（输入节点），一个送到输入门，一个送到输出门。就前传递而言，输入门学习决定何时让激活传入存储单元，而输出门学习合适让激活传出存储单元。相应的，对于后传递，输出门...
2019-05-03 12:46:52
1353
原创 Normalization 总结
instanceNorm在图像像素上，对HW做归一化，用在风格化迁移；也就是每个图片的每个channel做归一化，instanceNorm是最小单位，是每个图片的每个channel的，如果包含部分channels，则就是GroupNorm；instanceNorm是最小单位，是每个图片的每个channel的，如果包含所有channels，则就是layerNorm；instanceNorm是...
2019-04-28 14:01:15
537
原创 梯度下降实例演示参数更新和原理分析
https://zhuanlan.zhihu.com/p/27297638梯度下降，参数更新步骤YPred = a + bx (线性公式)（LOSS）误差公式：SSE=½ (Y-YP)^2 = ½(Y-(a+bX))^2第一步：随机对比重（a,b）赋值并计算误差平方和（SSE）第二步：通过对误差比重（a,b）求导计算出误差梯度（注：YP即Ypred）LOSS对参数a,b求偏导：∂...
2019-03-17 22:36:28
1234
原创 梯度下降优化器
梯度下降优化器Momentum如果在峡谷地区(某些方向较另一些方向上陡峭得多，常见于局部极值点)，SGD会在这些地方附近振荡，从而导致收敛速度慢。这种情况下，动量(Momentum)便可以解决。动量在参数更新项中加上一次更新量(即动量项),即：νtν_{t}νt = γνt−1\gammaν_{t−1}γνt−1 + η ∇θ∇_{θ}∇θJ(θ)θ = θ − νtν_{t}νt...
2019-03-17 22:28:27
1429
原创 Tensorflow 激活函数 activation function
激活函数 activation function线性模型的局限性：只通过线性变换，任意层的全连接神经网络和单层神经网络的表达能力并没有任何区别，线性模型能解决的问题是有限的。激活函数的目的是去线性化，如果将每一个神经元的输出通过一个非线性函数，那么整个神经网络的模型也就不再是线性的了，这个非线性函数就是激活函数。评价某个激活函数是否有用时,需要考虑的因素有:1)该函数应是单调的, 这样输出...
2019-03-11 22:13:53
3508
原创 Tensorflow 交叉熵（Cross Entropy）详解
数学基础1）e ，自然对数ln的底数，是个无理数，e=2.71828…2）f(x)=e^x的函数如下：XXXXXXXXXXXX
2019-03-10 22:45:30
1735
原创 Tensorflow tf.gradients 详解
tf.gradientsgradients(ys,xs,grad_ys=None,name=‘gradients’,colocate_gradients_with_ops=False,gate_gradients=False,aggregation_method=None)在 xs 中构造了 ys 的 w.r.t. x 和的符号偏导数.ys 和 xs 是一个张量或一个张量的列...
2019-03-08 15:10:13
4552
原创 jemalloc 深入分析 之Jemalloc 内存 分配 释放 过程
Jemalloc 内存 分配 释放 过程7.1. 从arena中分配small size内存的过程small region size区间为： 8 <= size <= 14336 = SMALL_MAXCLASS。函数arena_malloc中，#define SMALL_MAXCLASS ((((size_t)1) << 13) + (((size_t)3) ...
2019-02-02 17:45:41
3519
原创 jemalloc 深入分析 之Region size 设计以及和 index 对应关系
Region size 设计以及和 index 对应关系6.1. Region size步长的设计下图是对于从reg_size=64开始的增加规则，可以看出步长增加规则是每次在相邻幂次数位加1，得到下一个reg_size值。6.2. Region相关的参数定义（anrdoid 64bits）以下配置是对应于如下的系统参数： (LG_SIZEOF_PTR == 3 &&...
2019-02-02 17:40:48
1207
原创 jemalloc 深入分析 之 Tcache 实现原理
Tcache Tcache Tcache 实现原理3.1. TSD:thread specific data 线程局部存储 pthread_setspecific(a_name##tsd_tsd, (void *)wrapper))a_name##tsd_wrapper_t *wrapper = (a_name##tsd_wrapper_t *) \ pthread_getspecific...
2019-02-02 17:33:57
2473
原创 jemalloc 深入分析 之red-black tree 红黑树
2.4. red-black tree 红黑树cpp macro implementation of left-leaning 2-3 red-black trees. Parentpointers are not used, and color bits are stored in the least significantbit of right-child pointers (if ...
2019-02-02 17:28:52
377
原创 jemalloc 深入分析 之radix tree 基数树
2.3. radix tree 基数树This radix tree implementation is tailored to the singular purpose ofassociating metadata with chunks that are currently owned by jemalloc.对于长整型数据的映射。怎样解决Hash冲突和Hash表大小的设计是一个非常头...
2019-02-02 17:21:21
901
原创 jemalloc 深入分析 之 bitmap的两种实现
2.2. bitmap的两种实现2.2.1. 什么时候使用bitmap TREE/*Do some analysis on how big the bitmap is before we use a tree. For a bruteforce linear search, if we would have to call ffs_lu() more than 2^3 times,us...
2019-02-02 17:17:10
709
原创 Jemalloc 深入分析 之 配对堆Pairing Heap
2.1. 配对堆Pairing Heap斐波那契堆主要有两个缺点：编程实现难度较大和实际效率没有理论的那么快（由于它的存储结构和四个指针）。Pairing Heap的提出就是弥补斐波那契堆的两个缺点——编程简单操作的时间复杂度和斐波那契堆一样。Pairing Heap其实就是一个具有堆（最大堆或最小堆）性质的树，它的特性不是由它的结构决定的，而是由于它的操作（插入，合并，减小一个关键字等）决定...
2019-02-02 17:11:03
986
libcudnn7_7.6.0.64-1+cuda10.1_amd64.deb
2019-05-26
jemalloc深入分析
2019-01-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人