wydbyxr的博客

转载 监督学习中需要注意的问题

监督学习中需要注意的问题1、偏置和方差权衡  第一个问题就是偏见和方差之间的权衡。  较低的学习算法偏差必须“灵活”，这样就可以很好的匹配数据。但如果学习算法过于灵活,它将匹配每个不同的训练数据集,因此有很高的方差。许多监督学习方法的一个关键方面是他们能够调整这个偏差和方差之间的权衡(通过提供一个偏见/方差参数,用户可以调整)。2、功能的复杂性和数量的训练数据  第二个问题是训练数据可相...

转载 AI系统构建流程2

AI系统构建流程2  首先，我们要弄清楚解决的是什么问题，然后针对这个问题去进行技术的预研究，预研的过程有可能需要反复修改问题。这两步都确定下来之后要开始收集数据、训练模型，去做相应的功能开发，最后进行产品化，产品化之后还要上线迭代，迭代过程中可能会产生问题，需要重新去构建模型开发。1. 问题定义：从产品出发，数据 A 到数据 B  现在大家讲到 AI 可能更多谈到的是深度学习技术里面的监...

转载 AI系统构建流程1

AI系统构建流程1  要构建一个AI系统或产品，你要处理好5个核心环节，我们通常称之为“机器学习工作流”。  这些步骤分别是：数据收集与分析数据准备模型构建模型验证与测试模型部署1.分析你的数据，提前回答一些策略性的问题  以下是一些常用方法：检查异常值；寻找数值关系和点相关性；评估缺失值的数量。2. 数据准备  如果原始数据存在干扰，不能用来训练学习算法。这时...

转载 解决“保存csdn的网页再次打开会自动跳转到首页”

右键用文本编辑器打开离线保存的网页，搜索关键词onerror，找到下面这段：<img src="" onerror='setTimeout(function(){if(!/(csdn.net|iteye.com|baiducontent.com|googleusercontent.com|360webcache.com|sogoucdn.com|bingj.com|baidu.com)$/...

转载 机器学习新手工程师常犯的6大错误

机器学习新手工程师常犯的6大错误http://www.ckcest.cn/default/news/newsdetail?id=b938d29eb3a511e7b3d800163e05c5ae&cate=2

转载 训练时候的检查流程

训练时候的检查流程https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650729285&idx=1&sn=8f78edc716bbd2198cd7b14f62a93298&chksm=871b2f3bb06ca62d60632da0faebbee63068405a5841934ebec300dc4bbac...

原创 输入的尺寸很重要

输入的尺寸很重要  ImageNet通常将224x224x3作为输入尺寸，即具有3个颜色通道的224×224像素图像。虽然12GB内存对于ImageNet上具有112x112x3维度的类似数据集的最先进的结果至关重要，但我们可能会获得最新的结果，只有4-6GB的内存。另一方面，对于输入大小为25x75x75x3x的视频数据集，12GB的内存可能与您需要的结果相差很远。...

原创 模型在类似Cross-Validation上测试效果不错, 但在开发测试上效果不佳?

模型在类似Cross-Validation上测试效果不错, 但在开发测试上效果不佳?选取的训练数据的覆盖度不够, 即数据集不具有代表性(不过完备), 不能体现真实数据的分布。模型迁移 (model drift), 随着时间的转移, 特征数据也会跟着变化。比如3个月前的模型对现在的特征可能不会有好的结果。...

转载 谷歌机器学习实践的四十三条法则

谷歌机器学习实践的四十三条法则ML在实际工作确实更多是工程问题，而不是算法问题。优先从工程效率中要效果，当把这部分榨干后，再考虑算法的升级。https://blog.csdn.net/np4rHI455vg29y2/article/details/79341774https://blog.csdn.net/hellozhxy/article/details/80431959...

原创 AI公司--AI布局与大公司(来自德勤2018年中国人工智能白皮书)

原创 资讯--2018年11月

2018年11月  1）AI的寒冬将至。  深度学习技术没有突破进展；深度学习无法扩大规模；自动驾驶濒临崩溃。结合这些事实，Piekniewski得出了这样的一个结论：  更多的媒体已经开始注意到，我们已经处于一个巨大的人工智能泡沫之中了，这让人工智能行业已经没有了多少“新鲜空气”。但我认为，这个泡沫的最终破灭还需要一段时间，接下来的6个月很可能会非常有趣。  2）看来明年的趋势是各大框架...

原创 Log-DenseNet: How to Sparsify a DenseNet

Log-DenseNet: How to Sparsify a DenseNet原始的densenet改进后的densenet，即log-densenet

原创 CrescendoNet: A Simple Deep Convolutional Neural Network with Ensemble Behavior

CrescendoNet: A Simple Deep Convolutional Neural Network with Ensemble Behavior整体结构path-wise training

原创 Swish: a Self-Gated Activation Function

Swish: a Self-Gated Activation Function  Swish 的设计受到 LSTM 和 highway network 中使用 sigmoid 函数进行门控的启发。我们使用同样的值进行门控来简化门控机制，称为自门控（self-gating）。自门控的优势是它仅需要一个简单的标量输入，而正常的门控需要多个标量输入。该特性令使用自门控的激活函数如 Swish 能够轻松...

原创 Pyramidal RoR for Image Classification

Pyramidal RoR for Image Classification  有三个图从上到下依次是  1）两种结构的整体结构  2）RoR network architecture  3）Pyramidal RoR1）两种结构的整体结构2）RoR network architecture3）Pyramidal RoR...

原创 特征金字塔网络 (FPN)

特征金字塔网络 (FPN)  特征金字塔网络 (FPN) 发表在 2017 年的 CVPR 上。  FPN 是基于一个特征提取网络的，即是基于一个主干模型的，它可以是常见的 ResNet 或者 DenseNet 之类的网络（常见的命名方法是：主干网络-层数-FPN，例如：ResNet-101-FPN）。  这是个万金油网络，可以用在目标检测、实例分割、姿态识别、面部识别等各种各样的应用里。文...

原创 Spiking Deep Residual Network

Spiking Deep Residual Network  近些年，SNN由于它的生物可塑性吸引了大众注意力。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。  本篇文章，提出了一个方法来构造ResNet的脉冲版本。我们把训练好的ResNet网络转化为脉冲神经元组成的SpikingResNet。为了解决转化过...

原创 深度学习基础--各种Dropout--Swapout

Swapout: Learning an ensemble of deep architectures  生成 dropout 和随机深度（stochastic depth）方法来防止特定层或所有层中单元的共适应。集成训练方法从多个架构中采样，包括「dropout、随机深层和残差架构」。  Swapout 在 CIFAR-10 和 CIFAR-100 数据上优于同样网络结构的 ResNet，该...

原创 End-to-end detection-segmentation network with ROI convolution

End-to-end detection-segmentation network with ROI convolution

原创 Data Distillation: Towards Omni-Supervised Learning

Data Distillation: Towards Omni-Supervised Learning

原创 DiracNets: Training Very Deep Neural Networks Without Skip-Connections

DiracNets: Training Very Deep Neural Networks Without Skip-ConnectionsDirac参数化NCReLU

原创 Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification

Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification  视频自然由静态和运动信息组成，可以用帧和光流来表示。最近，研究人员普遍采用深度网络来捕捉静态和动态信息，主要有两个局限性：  1）忽略空间和时间关注的共存关系，而要共同建模；  2）忽视静态信息和运动信息在视频...

原创 Convolutional Normalizing Flows

Convolutional Normalizing Flows

原创 Self-Normalizing Neural Networks（selu）

Self-Normalizing Neural Networks（selu）  selu公式

原创 Learning Activation Functions to Improve Deep Neural Networks（APL激活函数）

Learning Activation Functions to Improve Deep Neural Networks  提出了APL激活函数。公式与示意图  1）输入为NHW，令它们为maps-1，每张为map-1  2）每张map-1的每个点会通过K种不同的分段函数（故APL会有2KHW个参数），则一张map-1会得到K张map-2。  再将这K张中间map-2进行eleme...

原创 空间变换网络（Spatial Transform Networks，STN）

空间变换网络（Spatial Transform Networks，STN）  该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据在空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。  STN 计算较快，几乎没有增加原有网络模型的训练时间。由于它能够在训练过程中，学习到与任务相关的空间...

原创 Improving speech recognition by revising gated recurrent units

Improving speech recognition by revising gated recurrent units  通过修改门控循环单元改善语音识别。一般的 GRU 架构本论文提出的M-reluGRU  移除重置门并且使用 ReLU 激活函数替代 tanh 后，我们可以得到新的公式：我们将这个架构称为 M-reluGRU。...

原创 Deeper Bottleneck(瓶颈) Architectures

Deeper Bottleneck(瓶颈) Architectures  看50-layer那一栏，在进入到DBA层之前的网络比较简单，分别是：①卷积层"7×7, 64, stride 2"、②BN层、③ReLU层、④池化层"3×3 max pool, stride 2"，最终的输出结果是一个大小为 [batch_size, height, width, kernels] 矩阵。   再看c...

转载 SENet

SENet  ImageNet冠军  SE模块相当于channel-wise attention。卷积核作为卷积神经网络的核心，通常被看做是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。  最近很多工作被提出来从空间维度层面来提升网络的性能，如Inception结构中嵌入了多尺度信息，聚合多种不同感受野上的特征来获得性能增...

原创 《Neural Machine Translation in Linear Time》

《Neural Machine Translation in Linear Time》  新型的source–target网络结构ByteNet，并通过两个扩张卷积神经网络（Dilated Convolution）堆叠实现,完成了机器翻译任务，并且将时间复杂度控制在线性范围。  dilated-conv，即使去掉池化层也能保证网络的感受野，从而确保图像语义分割的精度。...

原创 SPP

spp  讲到的训练数据图片的大小，都是什么3232,9696,227*227等大小，也就是说训练数据必须归一化到同样的大小，那么假设我的训练数据是各种各样的图片大小呢？  我是否一定要把它裁剪成全部一样大小的图片才可以进入卷积神经网络训练呢？这就是SPP算法所要解决的问题，训练数据图片不需要归一化，而且江湖传说，效果比传统的方法的效果还好。...

原创 Pseudo-siamese网络

Pseudo-siamese网络  这个网络与siamese network网络最大的区别在于两个分支是权值不共享的，是真正的双分支网络模型。  Pseudo-siamese在网络的两个分支上，每个分支是不同的映射函数，也就是说它们提取特征的结构是不一样的，左右两个分支，有不同的权值、或者不同的网络层数等，两个函数互不相关，只是在最后的全连接层，将他们连接在一起了。  这个网络相当于训练参数...

转载 《Learning to Compare Image Patches via Convolutional Neural Networks》

《Learning to Compare Image Patches via Convolutional Neural Networks》  即2-channel networks。关于图像相似度计算的文章，本篇文章对经典的算法Siamese Networks 做了改进。  因为文献基本上是在 Siamese Networks的基础上做修改，然后也要借助于空间金字塔池化实现不同大小图片的输入网...

原创 其他加速方案--Learning Structured Sparsity in Deep Neural Networks

Learning Structured Sparsity in Deep Neural Networks  亮点：如何把前几年盛行的Structured Sparisity和DNN结合？这篇文章给出了思路。  这篇文章来自匹兹堡大学的研究人员，核心内容非常清晰，那就是要引入Structured Sparsity到DNN来，使得最终的DNN有一个比较紧凑的表示，加快运算速度，同时能够得到硬件友善...

原创 深度学习基础--不同网络种类--siamese网络(孪生网络)

siamese网络(孪生网络)  05年Yann Lecun提出来的。提起siamese network一般都会引用这两篇文章： 《Learning a similarity metric discriminatively, with application to face verification》和《 Hamming Distance Metric Learning》。  Siamese也...

转载 NIN(network in network)

NIN(network in network)1）MLP卷积层  利用多层mlp的微型网络，对每个局部感受野的神经元进行更加复杂的运算，而以前的卷积层，局部感受野的运算仅仅只是一个单层的神经网络罢了。  提出了对卷积层的改进算法：MLP卷积层。Mlpconv层可以看成是每个卷积的局部感受野中还包含了一个微型的多层网络。一般来说mlp是一个三层的网络结构。NIN网络的mlp指的是局部感受野的，...

转载 hack--溢出攻击

溢出攻击  缓冲区溢出是指当计算机向缓冲区内填充数据位数时超过了缓冲区本身的容量溢出的数据覆盖在合法数据上。  理想的情况是 程序检查数据长度并不允许输入超过缓冲区长度的字符,但是绝大多数程序都会假设数据长度总是与所分配的储存空间相匹配，这就为缓冲区溢出埋下隐患。  操作系统所使用的缓冲区，又被称为"堆栈"。在各个操作进程之间,指令会被临时储存在"堆栈"当中，"堆栈"也会出现缓冲区溢出。缓

转载 hack--计算机病毒发展历史

计算机病毒发展历史  上世纪80年代的病毒还很单纯，通过改变有效载荷，隐藏在程序中，迷惑系统放他进门；随后，反病毒行业炼成了分析混淆代码的能力，可以推断出这种病毒的恶意意图。  90年代，恶意软件作者们开始给恶意负载加密来蒙混过关，让恶意代码只有在被解密到内存中、即将执行的时候才能检测到；反病毒行业祭出了虚拟运行软件、让病毒暴露本质的沙盒。  2000年之后，杀毒软件普及，为了想逃过沙盒的检...

原创 CS+金融

CS+金融  量化交易  用深度学习做趋势的还没有成功的，做波动（beta策略）的倒是很多。

原创 CS--算法的加密和MD5

算法的加密  现在做算法，不和硬件绑一起，你怎么卖？随便就被破解了，加密狗都没用，整个产业链就是这样。  软件怎么写加密都可以通讯加密，编码加密，硬件加密 。加密强度越大，成本越高，他们实际上都舍不得，软件要什么成本。你开发软件对数据加密，这几种加密在破解者面前就和裸体一样。  做算法的公司，你看看商汤和旷视，最赚钱的是什么？是他们的模块，其他公司直接用他们的算法模块整合仅自己的板子直接用，...