xiewenbo-CSDN博客

转载机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)

2018-11-06 11:33:21 153

转载语言检测工具language-detection 的简单使用

language-detection项目源码发布在Google code 上，可以在如下地址看到项目介绍和资源下载：https://code.google.com/archive/p/language-detection/Java使用示例代码：import com.cybozu.labs.langdetect.Detector;import com.cybozu.labs.langd...

2018-11-02 17:01:54 3480

转载 Regression Tree 回归树

1. 引言AI时代，机器学习算法成为了研究、应用的热点。当前，最火的两类算法莫过于神经网络算法（CNN、RNN、LSTM等）与树形算法（随机森林、GBDT、XGBoost等），树形算法的基础就是决策树。决策树因其易理解、易构建、速度快的特性，被广泛应用于统计学、数据挖掘、机器学习领域。因此，对决策树的学习，是机器学习之路必不可少的一步。根据处理数据类型的不同，决策树又分为两类：分类决策树与回...

2018-11-01 18:07:01 263

原创 docker 下安装裸机版本的tf-cpu版本

yum install wgetwget https://www.python.org/ftp/python/3.6.7/Python-3.6.7.tgzyum install opensslyum install openssl-develyum install vim修改Setup文件,在解压文件夹下的Modules文件夹下的Setup.distvim Modules/Setu...

2018-10-31 21:36:26 379

转载目标检测（Object Detection）——理解SPP Layer

一、前言在目标检测系列文章的上一篇R-CNN中，我们知道R-CNN在当时虽然取得了不错的成绩，但是其需要改进的地方也很多，比如算法步骤比较繁琐，需要大量的时间和内存去训练和测试模型等。除此之外，在训练和测试常见的CNN网络时，要求输入的图像有一个固定的大小，比如要求图像的输入为224*224。（网络前面的卷积层不要求输入图像的大小，后面的全连接层的输入特征数是固定的，需要固定的输入）这就要求...

2018-10-17 18:18:41 1726

转载 Open Sourcing a Deep Learning Solution for Detecting NSFW Images

By Jay Mahadeokar and Gerry PesaventoAutomatically identifying that an image is not suitable/safe for work (NSFW), including offensive and adult images, is an important problem which researchers hav...

2018-10-11 16:42:06 976

转载 python虚拟环境--virtualenv

转自：https://www.cnblogs.com/technologylife/p/6635631.htmlvirtualenv 是一个创建隔绝的Python环境的工具。virtualenv创建一个包含所有必要的可执行文件的文件夹，用来使用Python工程所需的包。　　安装pip install virtualenv　　基本使用为一个工程创建一个虚拟环境：$ cd m...

2018-09-04 16:28:01 115

转载卷积神经网络系列之softmax，softmax loss和cross entropy的讲解

from : https://blog.csdn.net/u014380165/article/details/77284921我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对这些层具体是怎么实现的...

2018-08-17 14:08:25 218

转载 softmax的多分类

from : https://blog.csdn.net/wangyangzhizhou/article/details/75088106 关于多分类我们常见的逻辑回归、SVM等常用于解决二分类问题，对于多分类问题，比如识别手写数字，它就需要10个分类，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这里讨论另外一种方式来解决多分类——softmax。关于softm...

2018-08-17 13:57:28 992

转载 Softmax回归

Contents [hide] 1 简介 2 代价函数 3 Softmax回归模型参数化的特点 4 权重衰减 5 Softmax回归与Logistic 回归的关系 6 Softmax 回归 vs. k 个二元分类器 7 中英文对照 8 中文译者简介在本节中，我们介绍Softmax回归模型，该模型是lo...

2018-08-17 13:55:17 188

原创记一次Kafka挂机之后，重启遇到的问题

WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. This implies messages have arrived out of order. New: {epoch:17, offset:2851215}, Current: {epoch:162, offset2840393} for...

2018-07-17 15:55:48 7017 5

转载 Tensorflow中卷积的padding操作

https://www.jianshu.com/p/05c4f1621c7e之前一直对tensorflow的padding一知半解，直到查阅了tensorflow/core/kernels/ops_util.cc中的Get2dOutputSizeVerbose函数，才恍然大悟，下面是具体的介绍实际上tensorflow官方API里有介绍！！不科学上网貌似打不开根据tensorflow中的conv2...

2018-06-29 16:18:40 326

原创 why original CNN need fixed size as input while FCN doesn't

Last few layers of Original CNN are dense layer with fixed size which need inputs with fixed size, otherwise the dense layer ....Mean while the FCN doesn't has a fixed dense layer .so

2018-06-27 10:57:06 188

转载反卷积(Deconvolution)、上采样(UNSampling)与上池化(UnPooling)

前言在看图像语义分割方面的论文时，发现在网络解码器结构中有的时候使用反卷积、而有的时候使用unpooling或或者unsampling，查了下资料，发现三者还是有不同的。这里记录一下。图示理解使用三张图进行说明：图（a）表示UnPooling的过程，特点是在Maxpooling的时候保留最大值的位置信息，之后在unPooling阶段使用该信息扩充Feature Map，除最大值位置以外，其余补0...

2018-06-21 15:01:01 5581 2

转载全卷积网络 FCN 详解

背景CNN能够对图片进行分类，可是怎么样才能识别图片中特定部分的物体，在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑，于是无穷无尽的人往坑里面跳。全卷积网络 Fully Convolutional NetworksCNN 与 FCN...

2018-06-21 15:00:21 636

转载反卷积 Transposed Convolution, Fractionally Strided Convolution or Deconvolution

https://buptldy.github.io/2016/10/29/2016-10-29-deconv/反卷积（Deconvolution）的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中，但是并没有指定反卷积这个名字，反卷积这个术语正式的使用是在其之后的工作中(Adaptive deconvolutional networks for ...

2018-06-20 20:47:16 432

转载卷积步长strides参数的具体解释

conv1 = tf.nn.conv2d(input_tensor,conv1_weights,strides=[1,1,1,1],padding='SAME')这是一个常见的卷积操作，其中strides=【1,1,1,1】表示滑动步长为1，padding=‘SAME’表示填0操作当我们要设置步长为2时，strides=【1,2,2,1】，很多同学可能不理解了，这四个参数分别代表了什么，查了官方函...

2018-06-20 20:18:51 2514 2

转载计算广告点击率预估算法总结

出处：http://hacker.duanshishi.com前言谈到CTR，都多多少少有些了解，尤其在互联网广告这块，简而言之，就是给某个网络服务使用者推送一个广告，该广告被点击的概率，这个问题难度简单到街边算命随口告诉你今天适不适合娶亲、适不适合搬迁一样，也可以复杂到拿到各种诸如龟壳、铜钱等等家伙事，在沐浴更衣、净手煴香后，最后一通预测，发现完全扯淡，被人暴打一顿，更有甚者，在以前关系国家危亡...

2018-06-08 20:13:56 3301

转载 tf.clip_by_global_norm理解

refer to :https://blog.csdn.net/u013713117/article/details/56281715Gradient Clipping的引入是为了处理gradient explosion或者gradients vanishing的问题。当在一次迭代中权重的更新过于迅猛的话，很容易导致loss divergence。Gradient Clipping的直观作用就是让...

2018-06-08 17:38:54 438

转载 seq2seq 简单版本 - tensorflow

https://github.com/NELSONZHAO/zhihu/blob/master/basic_seq2seq/Seq2seq_char.ipynbSeq2Seq本篇代码将实现一个基础版的Seq2Seq，输入一个单词（字母序列），模型将返回一个对字母排序后的“单词”。基础Seq2Seq主要包含三部分：Encoder隐层状态向量（连接Encoder和Decoder）Decoder查看Te...

2018-06-01 17:14:09 737 5

转载从AlexNet理解卷积神经网络的一般结构

出自：https://blog.csdn.net/chaipp0607/article/details/72847422/2012年AlexNet在ImageNet大赛上一举夺魁，开启了深度学习的时代，虽然后来大量比AlexNet更快速更准确的卷积神经网络结构相继出现，但是AlexNet作为开创者依旧有着很多值得学习参考的地方，它为后续的CNN甚至是R-CNN等其他网络都定下了基调，所以下面我们将...

2018-06-01 11:07:11 421

转载 tf.transpose函数的用法

tf.transpose函数中文意思是转置，对于低维度的转置问题，很简单，不想讨论，直接转置就好（大家看下面文档，一看就懂）。[html] view plain copytf.transpose(a, perm=None, name='transpose') Transposes a. Permutes the dimensions according to perm. Th...

2018-05-30 11:53:36 383

转载 python学习-字符串前面添加u,r,b的含义

u/U:表示unicode字符串不是仅仅是针对中文, 可以针对任何的字符串，代表是对字符串进行unicode编码。一般英文字符在使用各种编码下, 基本都可以正常解析, 所以一般不带u；但是中文, 必须表明所需编码, 否则一旦编码转换就会出现乱码。建议所有编码方式采用utf8r/R:非转义的原始字符串与普通字符相比，其他相对特殊的字符，其中可能包含转义字符，即那些，反斜杠加上对应字母，表示对...

2018-05-30 11:37:01 733

转载 tf.contrib.learn.preprocessing.VocabularyProcessor

tf.contrib.learn.preprocessing.VocabularyProcessor (max_document_length, min_frequency=0, vocabulary=None, tokenizer_fn=None)1参数：max_document_length: 文档的最大长度。如果文本的长度大于最大长度，那么它会被剪切，反之则用0填充。 min_frequen...

2018-05-30 10:58:28 387

转载 tf.nn.softmax_cross_entropy_with_logits

在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？首先明确一点，loss是代价值，也就是我们要最小化的值tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)除去name参数用以指定该操作的name，与方法有关的一共两个参数：第...

2018-05-30 10:57:50 442 1

转载论文笔记：Deep Residual Learning

转处：https://www.cnblogs.com/jermmyhsu/p/8228007.html之前提到，深度神经网络在训练中容易遇到梯度消失/爆炸的问题，这个问题产生的根源详见之前的读书笔记。在 Batch Normalization 中，我们将输入数据由激活函数的收敛区调整到梯度较大的区域，在一定程度上缓解了这种问题。不过，当网络的层数急剧增加时，BP 算法中导数的累乘效应还是很容易让梯...

2018-05-25 16:25:18 277

原创以一定概率选择lstm输出，并不是简单地argmax

def sample(preds, temperature=1.0): ''' Generate some randomness with the given preds which is a list of numbers, if the temperature is very small, it will always pick the index wi...

2018-05-18 17:53:55 1052

转载 vi/vim使用进阶: 程序员的利器 – cscope

本节所用命令的帮助入口：:help cscope 在前面的文章中介绍了利用tag文件，跳转到标签定义的地方。但如果想查找函数在哪里被调用，或者标签在哪些地方出现过，ctags就无能为力了，这时需要使用更为强大的cscope。Cscope具有纯正的Unix血统，它最早是由贝尔实验室为PDP-11计算机开发的，后来成为商用的AT&T Unix发行版的组成部分。直到2000年4月，这个工具才由S...

2018-05-16 16:25:03 244

原创 Tensorflow/nmt里构造网络的核心代码

tf.contrib.rnn.BasicLSTMCell基本的LSTM循环网络单元实现基于http://arxiv.org/abs/1409.2329我们添加 forget_bias （默认值为1）到遗忘门的偏置，为了减少在开始训练时遗忘的规模。它不允许单元有一个剪裁，映射层，不允许有peep-hole 连接：这是基准。对于更高级的模型，请使用 full LSTMCelldef __init__(...

2018-05-16 15:26:46 796

转载 clip gradient

作者：Gein Chen链接：https://www.zhihu.com/question/29873016/answer/77647103来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。clip_gradient 的引入是为了处理gradient explosion的问题。当在一次迭代中权重的更新过于迅猛的话，很容易导致loss divergence。clip_gr...

2018-05-16 14:37:52 1997

转载 seq2seq里在chatbot的一些用法

转处：https://blog.csdn.net/liuchonge/article/details/79021938上篇文章我们使用tf.contrib.legacy_seq2seq下的API构建了一个简单的chatbot对话系统，但是我们已经说过，这部分代码是1.0版本之前所提供的API，将来会被弃用，而且API接口并不灵活，在实际使用过程中还会存在版本不同导致的各种个样的错误。所以我们有必要...

2018-05-16 13:27:06 1353

转载 AttentionCellWrapper

“TensorFlow中AttentionCellWrapper的attn_length是什么鬼？attention window又是什么鬼？”--初次使用AttentionCellWrapper做attentionRNN时可能会有些懵逼...因为新版TensorFlow的API doc中关于AttentionCellWrapper的介绍有些含糊，它说是基于 0473这篇经典的attention ...

2018-05-07 00:42:06 2288

转载 tf.dynamic_rnn

引言TensorFlow很容易上手，但是TensorFlow的很多trick却是提升TensorFlow心法的法门，之前说过TensorFlow的read心法，现在想说一说TensorFlow在RNN上的心法，简直好用到哭【以下实验均是基于TensorFlow1.0】简要介绍tensorflow的RNN其实在前面多篇都已经提到了TensorFlow的RNN，也在我之前的文章TensorFlow实...

2018-05-06 00:07:42 330

转载 TensorFlow入门（五）多层 LSTM 通俗易懂版

出自：https://blog.csdn.net/jerr__y/article/details/61195257欢迎转载，但请务必注明原文出处及作者信息。@author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历，发现网上虽然也有不少教程，其中很多都是根据官方给出的例子，用多层 LSTM 来实现 ...

2018-05-05 23:38:36 834

转载 TensorFlow入门（五）多层 LSTM 通俗易懂版

https://blog.csdn.net/Jerr__y/article/details/61195257https://blog.csdn.net/u014595019/article/details/52759104@author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历，发现网上虽然也有不...

2018-05-03 19:44:16 335

转载 attention model rnn

出处：https://theneuralperspective.com/2016/11/20/recurrent-neural-network-rnn-part-4-attentional-interfaces/oIn this post, we will be covering the encoder-decoder architecture with attention for seq-seq...

2018-04-25 20:15:23 1116

转载 What is an Embedding in Keras?

Keras documentation isn't clear what this actually is. I understand we can use this to compress the input feature space into a smaller one. But how is this done from a neural design perspective? Is it...

2018-04-11 15:43:57 202

转载如何在githup向开源社区提交pull request

在修改之后不需要先同步原始仓库的修改？同步的时候我是直接 pull 吗？冲突不让拉取如何解决？（当然可以 fetch 再 merge 什么的操作）我认为比较正确的打开方法：fork 原始仓库clone 自己的仓库在 master 分支添加原始仓库为远程分支 git remote add upstream 远程仓库自己分支开发，如 dev 分支开发：git checkout -b dev本地 dev...

2018-04-08 20:16:05 450

转载简述一些平滑方法在 CTR 预估中的应用

出处：https://cloud.tencent.com/developer/article/1005257在网络广告投放指标评估中，CTR(click-through rate)是众多有效的评估手段中的一种，而预测CTR也是数据挖掘上一个热门的领域，在腾讯TSA举办的SPA大赛中，预测移动APP广告转化率，也有一定的相关性，所以前人在预测CTR中用到的方法也很值得在这次比赛中借鉴与学习。而对CT...

2018-04-04 20:31:16 1897

转载 keras 关于 dropout 的一点讨论

dropout in training and testing #5357 wenouyang commented on 11 Feb 2017In this link, devinplatt gives the following way to include dropout in training,model = Sequential()model.add(Dropout(0.5, inpu...

2018-03-26 15:08:22 6562

httpclient tutorial httpclient 指南

httpclient 指南包括了详细的调用和常用代码 The Hyper-Text Transfer Protocol (HTTP) is perhaps the most significant protocol used on the Internet today. Web services, network-enabled appliances and the growth of network computing continue to expand the role of the HTTP protocol beyond user-driven web browsers, while increasing the number of applications that require HTTP support. Although the java.net package provides basic functionality for accessing resources via HTTP, it doesn't provide the full flexibility or functionality needed by many applications. HttpClient seeks to fill this void by providing an efficient, up-to-date, and feature-rich package implementing the client side of the most recent HTTP standards and recommendations. Designed for extension while providing robust support for the base HTTP protocol, HttpClient may be of interest to anyone building HTTP-aware client applications such as web browsers, web service clients, or systems that leverage or extend the HTTP protocol for distributed communication.

2018-03-08

mask rcnn paper

We present a conceptually simple, flexible, and general framework for object instance segmentation. Our approach efficiently detects objects in an image while simultaneously generating a high-quality segmentation mask for each instance. The method, called Mask R-CNN, extends Faster R-CNN by adding a branch for predicting an object mask in parallel with the existing branch for bounding box recognition. Mask R-CNN is simple to train and adds only a small overhead to Faster R-CNN, running at 5 fps. Moreover, Mask R-CNN is easy to generalize to other tasks, e.g., allowing us to estimate human poses in the same framework. We show top results in all three tracks of the COCO suite of challenges, including instance segmentation, bounding-box object detection, and person keypoint detection. Without tricks, Mask R-CNN outperforms all existing, single-model entries on every task, including the COCO 2016 challenge winners. We hope our simple and effective approach will serve as a solid baseline and help ease future research in instance-level recognition. Code will be made available.

2018-03-07

Applying Deep Learning To Answer Selection

Applying Deep Learning To Answer Selection- A Study And An Open Task

2018-03-07

Learning Phrase Representations using RNN Encoder–Decoder

Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

2018-03-07

BPTT BackPropagation Through Time.pdf

BPTT paper This report provides detailed description and necessary derivations for the BackPropagation Through Time (BPTT) algorithm. BPTT is often used to learn recurrent neural networks (RNN). Contrary to feed-forward neural networks, the RNN is characterized by the ability of encoding longer past information, thus very suitable for sequential models. The BPTT extends the ordinary BP algorithm to suit the recurrent neural architecture.

2018-03-07

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人