python
秦伟H
目标是略懂:C++,深度学习,三维重建,CV,SLAM,无人机,无人车,多传感器融合,组合导航。有事邮件:qw072117@foxmail.com huqinwei987@gmail.com
展开
-
python手写神经网络之用im2col实现卷积层、池化层
简介im2col就是img to colomn主,要是把图像转成column,原因和用途也很清晰,CNN中数据是四维的,并且有滑动窗口的存在,如果用for循环,计算效率不敢看。那么原理也很简单,展开、复制、向量化。但是从示意图到实现,还是有一个地方比较绕,所以我一下也没想到实现,还是看着参考代码分析了一下才明白。示意图:其实示意图可以写两种,不带batch的,...原创 2019-12-02 19:43:14 · 2115 阅读 · 7 评论 -
python手写神经网络之Dropout实现
这里写三种实现,一种是vanilla,一种是效率更高的写法,还有一种是作为网络层的实现方法。虽然dropout的参数叫probability,一般指的不是扔的几率,是keep的几率(因为代码更好解释?)。(但是不固定,注意一致性,自恰即可)vanilla dropout的前向传播网络示意:作为对照组,给出了predict不乘以p的结果,随着数据量或者数据维度的增大,可以看到最后总...原创 2019-11-24 21:56:44 · 2992 阅读 · 0 评论 -
python手写神经网络之BatchNormalization实现
也是来源于《深度学习入门——基于Python的理论与实现》附加代码,书中只是给了BN的对比结果,展示了BN的效果,没有再赘述实现,所以这里要重写复现BN的代码。之前我曾经使用过TensorFlow的BN,它提供了两三种接口,透明程度和使用方法不相同,有的是透明到你可以自定义参数并传给BN层,然后训练参数,也有只定义一个层,全自动使用的,但是都没有自己纯手写一个python实现更透彻。而且Tens...原创 2019-11-24 14:27:02 · 3870 阅读 · 0 评论 -
python手写神经网络之权重初始化——梯度消失、表达消失
基于《深度学习入门——基于Python的理论与实现》第六章,但是书上只有一段基础的展示代码,和一些刻板结论(xx激活用xx优化),没有太多过程分析,所以自己进行了扩展与实验,加入了激活前后的对比,和不同激活函数不同系数等等的对比。关于权重初始化的理解:在一个默认的情况下(w高斯分布初始化,sigmoid激活,x是一个1000*100的高斯分布的随机matrix),会产生这种两头...原创 2019-11-23 01:04:13 · 3178 阅读 · 0 评论 -
python手写神经网络之优化器(Optimizer)SGD、Momentum、Adagrad、RMSProp、Adam实现与对比——《深度学习入门——基于Python的理论与实现(第六章)》
vanila SGD先不写了,很简单,主要从Momentum开始。老规矩,先手写,再对照书本:其实这个还真难手写出一样的,尤其v的初始化,我就没想到他怎么做。他默认了很多规则在里边,他的v没在init初始化,也不能动态,二是在第一次update时定型。其他方面,有些地方k、v对,其实用k或者v都能达到效果,就不赘述class Momentum(): def __...原创 2019-11-20 20:53:11 · 3462 阅读 · 0 评论 -
python手写神经网络之手动微分与梯度校验——《深度学习入门——基于Python的理论与实现(第五章)》
下面内容,算是一个debug过程,但是也算是一个学习过程,了解梯度校验的过程和影响微分梯度计算的因素。下边是根据书本模仿的两层网络,并非抄原代码,所以有所不同,但是我主观觉得差不多(有几个接口暂不列出),但是代码不是敲出来不报错就行了,这个既然是两种梯度,那就肯定是用来梯度校验的,既然是梯度校验,那当然得真校验一把才行啊。两层网络(784,50,10)。网络全随机,不训练,从mnis...原创 2019-11-19 21:14:50 · 930 阅读 · 0 评论 -
python实现微分函数,两种计算方式对比,一个误区
v1是f(x+h)-f(x)的版本,不加后缀的版本是f(x+h)-f(x-h)的,就是所谓左右两侧更精准的那个版本,但是做对比的时候,直觉上有些问题存在,如果是f(x)=x**2,是变化的斜率,左右两侧同时计算差值是可能带来更精准的计算,但是永远都是么?f(x)=2*x呢?f(x+h)-f(x-h)和f(x+2h)-f(x)有什么区别?所以就有了v1_2版本和不加后缀版本函数的对比#http...原创 2019-11-01 15:33:07 · 1848 阅读 · 0 评论 -
【有视频】通过观察deep dream的一些细节直观了解卷积神经网络
使用deep dream做了很多图,从中确实能直观地学到一些东西。下面是自己做的视频,使用不同通道生成了一些图形,并对比了不同的迭代次数下生成的图片。https://www.bilibili.com/video/av65825597/https://www.bilibili.com/video/av65882277/https://www.bilibili.com/video/av...原创 2019-08-30 11:23:42 · 436 阅读 · 0 评论 -
手写softmax cross entropy的反向传播推导过程以及反向传播代码。
如图,共两部分,softmax一部分,cross-entropy一部分,a1、a2、a3是输入,y1、y2、y3是softmax的输出,t1、t2、t3是label,图中右侧输出Loss=cross entropy,输入gradient=1。正向传播和反向传播基本规则(可以参考cs231n的教程):正向就是正常运算,没什么说的,正向的多对一操作,求和,正向的一对多,每一条线都传播同样的...原创 2019-08-29 16:11:57 · 2000 阅读 · 1 评论 -
scipy.misc import ‘imread‘ 导入失败解决方法 python3!!!
from scipy.misc import imreadImportError: cannot import name 'imread'三个点:一,需要依赖Pillow;pip install pillow二,如果自己要用,可以从matplot等借。from matplotlib.pyplot import imread三,新版抛...原创 2019-08-24 00:27:23 · 17287 阅读 · 7 评论 -
LeetCode:43 multiply 大数乘法的数学直观理解
leetcode上遇到的题。我们学了那么多年的数学,做了那么多年的乘法,却不曾仔细总结其中的规律,至少是没有用这种程序化的逻辑概括过。这个计算过程想想也是很有意思,还是总结下。以15*15=225为例:个位数是5*5=25,留5,进位2.十位数稍微复杂点,有两个乘法都是以他为底,并且他还可能从个位得到进位,还需要进位给百位。百位至少在本例简单点,1*1是不用再进位了,...原创 2019-03-25 16:58:23 · 806 阅读 · 0 评论 -
tensorflow 样本均衡问题和权重损失 交叉熵
实际训练神经网络常会遇到数据不均衡问题,数据不均衡会影响模型训练效果,可以使用权重来纠正。数据不均衡对应的原理也很简单,当一个数据不足或者过多时,模型瞎猜也能获得很高的准确率。1%的正例,99%的负例,全选负,准确率99%。自己改造mnist,进行样本均衡试验使用mnist进行训练,将训练集进行处理,指定一个分类,删除大部分样本。测试集不变,但是为了对比,测试时可以分类进...原创 2019-03-18 03:37:03 · 4690 阅读 · 6 评论 -
6段代码带你了解python global变量
借4个例子(现在扩到六个了<( ̄︶ ̄)>),说明一下global的作用。a=6print(id(a))def f(): print(a) print(id(a))f()print(id(a))print('finally:',a)这个代码能跑通,强行理解就是f内强行找了外部的a=6,使用变量a。但是如果只是简单的找外部声明,下边的例子按理说...原创 2018-09-25 00:34:57 · 497 阅读 · 0 评论 -
tensorflow中tf.strided_slice用法
一个工程中用到,乍一看很简单,给了下标直接就能从队列中切出数据来,但是扫一眼help给的高级用法反而有点懵,所以写了个demo。demo1:正常单轴用法,只要给出下标就能切数据import tensorflow as tfsess = tf.Session()#easy demot = tf.constant([1,2,3,4,5,6,7,8])t1 = tf.stride...原创 2018-10-01 18:46:24 · 1523 阅读 · 0 评论 -
tensorflow中optimizer minimize自动训练简介和选择训练variable的方法
本文主要介绍tensorflow的自动训练的相关细节,并把自动训练和基础公式结合起来。如有不足,还请指教。写这个的初衷:有些教程说的比较模糊,没体现出用意和特性或应用场景。面向对象:稍微了解点代码,又因为有限的教程讲解比较模糊而一知半解的初学者。(更多相关内容,比如相关优化算法的分解和手动实现,EMA、BatchNormalization等用法,底部都有链接。)正...原创 2018-09-19 16:14:26 · 13455 阅读 · 5 评论 -
Tensorflow中BatchNormalization用法详解
目录概要:为什么引入BN为什么如果gamma和beta默认1和0,最终输出等于原样不变?关于为什么直接用mean和var做normalize就解决分布问题,还要经过scale和shift进行转换的问题关于这个BN如何被训练到根据说明文档可知,无论用哪种实现,training阶段的选择都要有:重中之重:无论接口白盒黑盒,BN操作需要使用依赖关系来完成滑动平均的更新BN...原创 2019-03-02 00:58:32 · 5552 阅读 · 3 评论 -
李宏毅 机器学习 作业 2 Hungyi.Li Machine Learning HW2 逻辑回归法实现以及优化
关于“一个属性有几个固定选项,怎么表达”的问题,数据采用one-hot,每个选项独立成一个属性,loss用交叉熵计算,这样更科学。这里不用过多操心,数据给出已经处理好了。有一段可能是助教给的参考代码,不过参考代码有些漏洞(在代码下方贴出),需要修改下,然后还有一定的调参提升空间。参考代码如下:import os, sysimport numpy as npfr...原创 2018-08-08 17:44:40 · 4358 阅读 · 14 评论 -
李宏毅 机器学习 作业1 Hungyi.Li Machine Learning HW1 PM2.5 Prediction
HomeWork1 PM2.5 Prediction课程资料:https://ntumlta.github.io/2017fall-ml-hw1/从印象笔记移过来修改的,没编辑太细,猎豹编辑CSDN出现各种错误,太麻烦,反正代码能跑。做题思路:数据处理id_x是时间点,每一个具体的x,是一个时间点。怎么抽取训练集?1-9训练,第十个验证,2-10训练,第11个验证...原创 2018-08-05 15:51:56 · 9656 阅读 · 16 评论 -
使用auto-encoder实现数据压缩、分类预测
原理简介:(文章编辑bug太多,白码字了,只能简化说了。)通过encoder-decoder的结构形成一个负、正金字塔的瓶颈结构(必须是瓶颈结构,才能起到压缩的效果,不然就成了复制了),对数据进行压缩并还原,以还原程度为指标来训练网络。训练完网络就有了一个encoder和decoder,decoder先不管,encoder能把数据压缩,因为压缩还能还原,证明原数据有冗余,压缩后的code可以直...原创 2018-09-29 12:31:52 · 4711 阅读 · 14 评论 -
TensorFlow中EMA的概念和正确使用方法
目录EMA介绍概念弥补不足:初始数据积累不足的情况深度学习训练中的作用实现典型步骤一个EMA影子变量的例子进一步接近真实情景,让w1变动例2:global_step的trainable设置最后,怎么用影子变量来测试?模拟训练与存储模型错误的模型读取方式正确的模型读取方式补一发手写的映射通用写法EMA介绍概念滑动平均exponent...原创 2019-03-06 17:05:53 · 6729 阅读 · 10 评论 -
python切割图片发微信朋友圈——9图、4图、6图
考虑到微信朋友圈的折叠方案,有些方法严重走形,基本只能支持这几种折叠方案了。随便拿张图,扔到白背景,拉到正方形。3*3和2*2都是标准的正方形,2*3不行,微信会自动缩图,正方形的要把图做成这样放里边会丢东西。拉宽,横纵比3比2,就可以了。最后,还可以用切完的图和其他图去组合发,只要排版满足,都能用3*3#from Pillow import Imag...原创 2018-08-24 00:26:35 · 2681 阅读 · 0 评论