深度学习
文章平均质量分 73
Ding_xiaofei
程序员
展开
-
TensorFlow基础系列(逻辑回归:eager模式)
前言上一篇逻辑回归的已经不知道是猴年马月写的,这里贴一下eager模式的。很多都api化,好处代码清晰,缺点是有些原来可能就没有那么清晰了。下面我们直接看代码''' Logistic Regression with Eager API.A logistic regression learning algorithm example using TensorFlow's Eager API....原创 2019-11-15 19:47:40 · 515 阅读 · 0 评论 -
TensorFlow入门系列
不定期更新TensorFlow基础系列(Hello,TensorFlow)TensorFlow基础系列(逻辑回归)TensorFlow基础系列(softmax回归)TensorFlow基础系列(神经网络NN)TensorFlow基础系列(TFRecord)TensorFlow基础系列(TFRecord)...原创 2019-11-08 14:11:45 · 264 阅读 · 0 评论 -
TensorFlow基础:Hello TensorFlow
前言每天花点时间整理一些TF的知识点包括tensorflow1.0和tensorflow2.0hello TensorFlow初见sessionfrom __future__ import print_functionimport tensorflow as tf# Simple hello world using TensorFlow# Create a Constant ...原创 2019-10-29 23:23:44 · 384 阅读 · 0 评论 -
百度开源的问答系统框架:ANYQ
AnyQgithub地址 AnyQ(ANswer Your Questions) 开源项目主要包含面向FAQ集合的问答系统框架、文本语义匹配工具SimNet。问答系统框架采用了配置化、插件化的设计,各功能均通过插件形式加入,当前共开放了20+种插件。开发者可以使用AnyQ系统快速构建和定制适用于特定业务场景的FAQ问答系统,并加速迭代和升级。SimNet是百度自然语言处理部于2013...原创 2018-08-10 09:23:39 · 8887 阅读 · 1 评论 -
Seq2Seq+Attention+Beam Search
开篇Seq2Seq算是我NLP里面接触比较早的模型,它来源于机器翻译,我用来做文本自动摘要。当然它在文本自动摘要领域的效果并不好。Seq2SeqSeq2Seq本质上是条件生成模型(Conditional Generation),在现有的模型中,看图说话(Image caption)也是类似的条件生成模型,它们的结构很类似,如下图所示 都是Encoder-Decoder的结构。...原创 2018-08-10 10:59:03 · 2195 阅读 · 0 评论 -
深度学习理论笔记和实战源码解读
开篇同样是一个检索目录,希望能够帮助自己和大家学习和复习相关的理论知识,同时我也会定期放上一些源码的解读。目录原创 2018-08-03 08:31:54 · 443 阅读 · 0 评论 -
神经网络训练的一些建议(方差和偏差的问题:正则化)
参数和超参数算法中的learning rate a(学习率)、iterations(梯度下降法循环的数量)、L(隐藏层数目)、n(隐藏层单元数目)、choice of activation function(激活函数的选择)都需要你来设置,这些数字实际上控制了最后的参数W和b的值,所以它们被称作超参数。实际上深度学习有很多不同的超参数,之后我们也会介绍一些其他的超参数,如momentum、...原创 2018-08-03 10:08:28 · 6560 阅读 · 3 评论 -
神经网络训练的一些建议(Batch Normalization)
数据的归一化先放上宏毅大神的图,说明一下我们为什么要做数据的归一化 说明:x2的变化比较大,使用w2方向上就显得比较陡峭(梯度),学习率就不能设置得过大。Batch Normalization为什么要有batch normalization 主要是避免internal covariate shift,如图所示,输出上下波动太大(如同第二个人)的话会影响整个模型的训练...原创 2018-08-07 20:56:10 · 2594 阅读 · 0 评论 -
神经网络训练的一些建议(优化算法)
mini-batch梯度下降法相信有一定深度学习常识的人都知道梯度下降 使用batch梯度下降法时,每次迭代你都需要历遍整个训练集,可以预期每次迭代成本都会下降,所以如果成本函数J是迭代次数的一个函数,它应该会随着每次迭代而减少,如果J在某次迭代中增加了,那肯定出了问题,也许你的学习率太大。使用mini-batch梯度下降法,如果你作出成本函数在整个过程中的图,则并不是每次迭代都是下...原创 2018-08-03 15:46:20 · 3616 阅读 · 0 评论 -
机器学习策略
评价指标查准率(precision)和查全率(recall)翻译很贴近它要表达的意思 恩达举的例子 查准率的定义是在你的分类器标记为猫的例子中,有多少真的是猫。所以如果分类器A有95%的查准率,这意味着你的分类器说这图有猫的时候,有95%的机会真的是猫。查全率就是,对于所有真猫的图片,你的分类器正确识别出了多少百分比。实际为猫的图片中,有多少被系统识别出来?如果分类器A查全率是...原创 2018-08-08 20:33:10 · 414 阅读 · 0 评论 -
2018算法岗面试题整理
神经网络1、简述反向传播原理 (阿里),面试官微信发了一道反向传播的算数题,要求算出结果并解释 (要能计算的) 2、sigmoid和ReLU的优劣 3、梯度消失问题和损失函数有关吗? 4、Dropout为什么能防止过拟合? 5、Batch Normalization有什么好处? 6、讲讲Adam优化算法 7、能想到哪些衡量两个向量之间距离的方法(L1, L2, cosin...原创 2018-09-12 14:11:11 · 1699 阅读 · 0 评论 -
各大互联网公司面经集锦(附解答)
数据库数据库多表查询 MYSQL常用引擎及其区别(innoDB、MyISAM、MEMORY区别) B树、B+树数据结构、区别 select、epoll,以及边缘触发、水平触发 数据库的索引介绍一下 MySQL用的挺多,问你一下,innodb的b+树索引,主键索引,聚簇索引有什么区别。 MySQL里有哪些锁,行锁表锁,乐观锁呢,我说了版本号和MVVC,开始问我MVVC。 事务...原创 2018-09-17 15:45:19 · 1109 阅读 · 0 评论 -
机器学习面试题解(1-5)
1、L1正则和L2正则的区别先放上一个参考博客https://blog.csdn.net/jinping_shi/article/details/52433975原创 2018-09-17 23:52:04 · 398 阅读 · 0 评论 -
深度学习面试题解(1-5)
开篇今天面试了一下阿里高德,面试问题记录一波,面试的时候问得还是超级细的,深度学习算法和传统的学习算法都有问到,视频面的时候我也是一塌糊涂,不过居然莫名其妙的过了。1、梯度爆炸和梯度消失的问题,这里面还顺带问了一下sigmoid函数梯度的最大值(0.25)这部分我答的好像还不是很糟糕,放上我以前写的博客,作为大家的参考https://blog.csdn.net/ding_xiaofei/a...原创 2018-09-19 00:02:32 · 606 阅读 · 0 评论 -
用estimator构建一个简单的神经网络
estimator最主要的就两个部分input_fnmodel_fn模型可以自定义输入需要转成字典import osimport pandas as pdimport tensorflow as tfFUTURES = ['SepalLength', 'SepalWidth', 'PetalLength', 'PetalWidth', 'Species']SPECIES =...原创 2019-09-18 14:09:43 · 380 阅读 · 0 评论 -
如何构建一个问答机器人(FAQ问答机器人)
开篇下面的主要内容摘自腾讯知文的算法负责人的演讲,主要描述了腾讯知文问答系统的主要框架。问答类型第一种类型,任务驱动型。这种类型通常是用户希望去完成一些任务,比如查天气、查汇率等。第二种类型,解决用户信息获取类的问题。这种类型也是我们这次分享的重点,我们将主要在这点展开。这也是目前业界落地最多的一种问答系统类型。第三种类型,通用闲聊型。比如微软的小冰、苹果的 Siri 都支持通...原创 2018-08-10 09:01:32 · 9919 阅读 · 1 评论 -
从RNN到LSTM、GRU、语言模型
RNNRNN最重要的是特征就是每一时刻的结构和参数都是共享的。 先放一张盗图 RNN就好像天生为序列而生的神经网络,举个简单的例子,序列标注,比如词性标注,如图所示,x是我们输入,h是我们的输出,也就是词性。有人可能就会说,我们使用一般的神经网络也可以做到这样。 一个词一个样本就可以了,这里的话就破坏了句子的连贯性,那些多词性的还怎么标注呢。恩达是这么说的: 一个像这样单纯的神...原创 2018-07-26 11:39:18 · 5225 阅读 · 0 评论 -
深度学习和文本分类
参考博客传统的文本分类模型深度学习文本分类模型fasttextfastText 模型输入一个词的序列(一段文本或者一句话),输出这个词序列属于不同类别的概率。 序列中的词和词组组成特征向量,特征向量通过线性变换映射到中间层,中间层再映射到标签。 fastText 在预测标签时使用了非线性激活函数,但在中间层不使用非线性激活函数。 fastText 模型架构和 Wor...原创 2018-07-20 15:03:53 · 1642 阅读 · 0 评论 -
TensorFlow与NLP(词向量:skip-gram)
开篇前面已经讲了两种表示文本特征的向量化方法了,到这里也可以进入我们的词向量了,词向量是近几年来NLP领域最重要的研究成果之一,我们现在再看一些基本的NLP任务也基本上再也离不开词向量的身影,今天我们就用代码的层面来看看它到底是什么?word2vec...原创 2018-05-10 10:49:56 · 3652 阅读 · 0 评论 -
TensorFlow基础系列(逻辑回归)
开篇接触TensorFlow也差不多一年多,因为论文的实验需要,中间间间断断的学习,东西或多或少会有所遗忘,所以着手开始写这一系列博客,希望能够坚持,磨炼技术,也为9月份的秋招打好扎实的基础。 那么这一系列博客能够让你学到什么呢,首先是tensorflow的基本操作,之后我们会用tensorflow实现一系列机器学习和深度学习的算法,深度学习优先,因为它毕竟是深度学习框架。本系列代码以代码为...原创 2018-04-25 19:02:27 · 500 阅读 · 0 评论 -
TensorFlow与NLP(词袋模型:垃圾短信检测)
开篇昨天没有更新TensorFlow系列,有点跳票的意思,最近一直在参加一些小厂的算法工程师的面试,比较尴尬的是,昨天西山居的算法部门的老大直接觉得我比较水了,觉得我们在学校里面处理的文本和公司里面的差距太大了,搞得我一度无法释怀,老实说中文的文本处理还是存在很多的问题,而我也深度反省了一下自己的实战能力,同时也更加坚定地去完成这一系列博客。 既然是NLP,那么我还是先分享一下一个大厂的面试...原创 2018-04-28 00:30:35 · 2046 阅读 · 2 评论 -
TensorFlow基础系列(softmax回归)
开篇补上之前缺失的TensorFlow基础,这两天要放五一假了,又可以把缺上的东西拿来补一补,错失了很多大厂的面试机会,也深感自己基础的不扎实。之前的逻辑回归,我们讲的是二分类问题,但是现实中,我们要做的往往是多分类。所以训练一个多分类的模型是十分必要的,今天我们就来说说神经网络中最常见的多分类模型,softmax。softmax和逻辑回归的模型函数sigmoid一样,softmax也...原创 2018-04-28 11:22:19 · 3868 阅读 · 0 评论 -
TensorFlow基础系列(神经网络NN)
开篇算起凌晨的那一篇词袋模型,这是今天的第三篇TensorFlow博客,我们也要开始跑一点真实的数据集啦。不能总是拿着自己随便捏造的一点数据来描述我们的算法,可能会有点老套,但是我还是决定选择一个比较常被用用到的数据集,手写数字的数据集。找了一大圈数据集的下载,发现在csdn上还需要积分下载,这种本来就应该是免费下载使用的数据集还要积分就有点过分啦。这里放上我的下载链接链接:https://p...原创 2018-04-28 15:24:05 · 2056 阅读 · 0 评论 -
TensorFlow与NLP(TF-IDF:垃圾短信检测)
开篇在NLP的前一篇文章,我希望关注的点就是我们文本的表示,说浅显一点就是词语的向量化,前面我们使用了one-hot编码,使用词袋模型,但是词袋模型几乎在现在的NLP任务中是不被使用的,只是作为一个入门的基础,我们是需要慢慢过渡到我们要使用的词向量去,当然在说词向量之前,我们还是要提一下一个比较重要的概念TF-IDF。TF-IDFTF-IDF是Text Frequency – In...原创 2018-04-29 23:57:40 · 4409 阅读 · 0 评论 -
吴恩达DeepLearning.ai课程编程实践(一)
开篇同样作为深度学习的入门系统博客吧,希望闲时能够花个不到一个小时理一下吴恩达老师课程里面涉及到的编程,当然学习这些知识的前提是,你能够使用python编程。这边我不限定内容的长短,每篇不完成固定的内容,如果不全,那么就下篇再见。sigmoid function常见的激活函数,缺点就不提了,二分类任务的输出层比较常见,下面是它的函数图 它的实现import mathde...原创 2018-05-14 20:33:22 · 279 阅读 · 0 评论 -
深度学习中文NLP任务实战(一):中文词向量的训练
待更新原创 2018-07-08 10:06:08 · 5874 阅读 · 2 评论 -
深度学习中文NLP任务实战(二):使用训练好的词向量
开篇先放上我参考的一篇博客 tensorflow 使用预训练词向量embedding层我们使用预训练的词向量,最主要的目的就是为了生成embedding层的wW = tf.Variable(tf.constant(0.0, shape=[vocab_size, embedding_dim]), trainable=False, name="W"...原创 2018-07-08 11:04:51 · 5895 阅读 · 0 评论 -
深度文本匹配模型(一):k-nrm
开篇用深度学习模型去匹配句子的相似度已经是目前句子相似度的主流方法。本质上还是句子相似度的问题。深度文本匹配模型可以提供更好的搜索排序服务。它的基本场景就是:给一个query,模型返回排序靠前的document。是不是很像一个搜索引擎,其实本质上是差不多的。只不过深度文本匹配更具语义上的优势,更加智能。公司实习是做问答系统,所以最近都在刷一些文本匹配的模型,这边以博客的形式记录下来。不光是理论...原创 2018-10-17 12:06:16 · 5938 阅读 · 1 评论 -
深度文本匹配的基本方法
开篇这里主要的内容来自庞亮博士的一篇综述性论文,后面会放出论文的参考地址。摘要深度文本匹配模型可以分为三类: 基于单语义文档表达的深度学习模型 基于单语义文档表达的深度学习模型主要思路是,首先将单个文本先表达成一个稠密向量(分布式表达),然后直接计算两个向量间的相似度作为文本间的匹配度。 基于多语义文档表达的深度学习模型 基于多语义的文档表达的深度学习模型认为单一粒度的向量...原创 2018-07-05 12:02:49 · 9232 阅读 · 2 评论 -
keras学习笔记(一)
一个完整的分类模型from keras.layers import Input, Densefrom keras.models import Model# This returns a tensorinputs = Input(shape=(784,))# a layer instance is callable on a tensor, and returns a tenso...原创 2018-07-18 16:51:14 · 619 阅读 · 0 评论 -
深度文本匹配模型(二):Conv-knrm模型复现
开篇这篇是基于k-nrm改进的一篇论文提出的方法。同样的作者,前后隔了一年左右的时间。前面讲k-nrm的博客我没有放出代码,这一篇我会放出一个详细的模型解读源码以供大家参考。Conv-knrmConv-knrm相比k-nrm,最大的改变就是它添加了n-gram的卷积,增加了原先模型的层次,这里有一个好处就是它能够捕捉更加细微的语义实体,交叉的粒度也更加细。这边我放上它完整的模型图,...原创 2018-10-17 12:09:01 · 7219 阅读 · 10 评论 -
梯度爆炸和梯度消失以及解决方案
梯度爆炸和消失两种情况下梯度消失经常出现,一是在深层网络中,二是采用了不合适的激活函数,比如sigmoid。梯度爆炸一般出现在深层网络和权值初始化值太大的情况下,下面分别从这两个角度分析梯度消失和爆炸的原因。数学说明参考博客这边我做了做了一个两个隐层梯度的推导,看的出来层数逐渐变多,影响最大的便是权值w和激活函数,他们中的任意一个大于1或者小于1,连乘都会造成梯度的消失和爆炸。...原创 2018-07-25 11:12:42 · 3079 阅读 · 0 评论 -
Deeplearning for NLP (简介)
开篇过目就忘说的可能就是在下了,所以现在所有的学习内容我都会写成博客,不成博客的就是过目就忘啦。这是系列不算挖坑,前面写了几篇Tensorflow的文章,词向量这篇一直处于难产中,拖延症比较严重。争取这两天能够写出来。下面开始我们的正题,这篇博客的内容主要来源于17年牛津大学的NLP课程,这边放出课程oxford-cs-deepnlp的github地址和网易云课堂课程的视频链接,夸一下网易,很...原创 2018-05-09 13:23:38 · 849 阅读 · 0 评论