王小小小草-CSDN博客

原创 Pytorch第一课：package-torch（1）之张量初识

微博：https://weibo.com/wangxiaocaoai/profile?rightmod=1&amp;amp;wvr=6&amp;amp;mod=personinfo微信公众号：搜索&quot;AI躁动街&quot;本节要点：1 张量2 创建张量的方式3 张量的索引,切片,连接,换位等操作4 随机抽样的操作5 序列化（保存与加载）6 并行化1 张量Tensor1.1 判断是否为张量t

2018-11-20 22:35:15 2044

原创 Pytorch模型的保存与读取方法

方法一（推荐）只保存和加载模型的参数# 保存模型参数def save_model(the_model, PATH): torch.save(the_model.state_dict(), PATH)# 加载模型参数def load_model(PATH): the_model = TheModelClass(*args, **kwargs) the_model....

2018-11-19 22:01:25 4897

原创论文解读|【Densenet】密集连接的卷积网络（附Pytorch代码讲解）

@[t oc]1 简单介绍论文题目：Densely Connected Convolutional Networks发表机构：康奈尔大学，清华大学，Facebook AI发表时间：2018年1月论文代码：https://github.com/WangXiaoCao/attention-is-all-you-need-pytorchpytorch代码：https://github....

2018-11-11 15:16:34 26579 11

原创文献笔记|【文本表征】BERT

论文信息：论文题目：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding论文发表时间：2018年10月11日机构：Google AI简介文献解决的问题：提出一个语言表征的模型，叫BERT（Bidirectional Encoder Representations from Tra...

2018-10-31 11:14:00 4157

原创发布一年了，做NLP的还有没看过这篇论文的吗？--“Attention is all you need”

笔记作者：王小草日期：2018年10月30日欢迎关注我的微信公众号“AI躁动街”1 Background说起深度学习和神经网络，图像处理一呼百应的“卷积神经网络CNN“也好，还是自然语言处理得心应手的”循环神经网络RNN”，都简直是脍炙人口、妇孺皆知。前者助力处理高维特征，后者聚焦掌控序列记忆，时而分道而行，时而也互相取暖，但也终是各司其职，自有短长。然而，在深度学习中，还有一个不可...

2018-10-30 12:20:31 1581 7

原创报错：ImportError: XXXX.so:invalid ELF header

运行程序遇到如下报错：原因是该路径下的.so文件与运行程序的环境不匹配，比如我在mac电脑上编译生成的.so文件，直接放到linux服务器上跑了，自然会有错误。解决的方法是在Linux环境中重新编译生成新的.so文件。...

2018-10-12 11:38:01 21255 7

原创论文分享|【词向量专题】中文词嵌入最新进展

分布式的词嵌入(word embedding)将一个词表征成一个连续空间中的向量，并且有效地挖掘了词的语义和句法上的信息，从而被作为输入特征广泛得应用于下游的NLP任务（比如：命名实体识别，文本分类，情感分析，问答系统等等）。CBOW，skip-gram 和Glove模型算是最热的最受青睐的方法来进行词嵌入的学习了。后来人们又在这三个模型的基础上发明了各种变体来提高词嵌入的质量。今天要介绍...

2018-08-10 15:09:16 2704

原创 2018 AAAI | 概括与提升双语词向量映射：线性转换的多步框架

笔者：王草日期：2018年7月29日1 背景知识在讲述论文之前，笔者为大家简单地讲解一下论文要解决的核心问题。对跨语言词嵌入有了解的朋友可以直接跳过这一节。2013年Mikolov等提出了分布式的词向量表征word2vec，即将一个词用一个低维向量来表示，词与词之间的相似性可以通过向量之间的相关性表示。随后word2vec在众多自然语言处理（NLP)的任务中大放光彩，备受青睐。...

2018-07-29 15:22:33 1599 1

原创还在为没有中文训练数据而头痛你的NLP任务吗？是时候看看这篇文章了~

编者：王小草时间：2017年7月18日1 摘要近期对于跨语言词嵌入的研究虽然已经不再需要并行数据，但是仍然要依赖于相似语料或者强相关的语言。这篇论文 1）利用词嵌入的结构相似性提出了一个完全无监督的初始化解，2）并且提出一个鲁棒的自学习算法来迭代地优化初始化解。作者将论文的方法与其他两个最新的方法进行比较，验证了无监督的方法的优异性，并且在大部分任务上还超越了有监督方法的效果。...

2018-07-18 20:02:31 2402 2

原创【卷积神经网络】Lesson 4--人脸识别和风格转换

课程来源：吴恩达深度学习课程《卷积神经网络》笔记整理：王小草时间：2018年6月12日1. 人脸识别1.1 什么是人脸识别人脸识别大家都不陌生，最常见的例子就是上班打卡，不再是刷卡，而是朝着屏幕刷一下脸，门就开了。先来看一看人脸验证(face verification)和人脸识别的区别（face recognition)有什么区别呢？face verif...

2018-06-12 23:10:05 1664

原创【卷积神经网络】Lesson 3--目标检测

课程来源：吴恩达深度学习课程《卷积神经网络》笔记整理：王小草时间：2018年6月8日1.目标定位Object localization1.1 什么是目标定位明确下目标定位与检测的定义。识别一张图片的类型（比如猫狗分类）叫做图像分类image classification,比如下面这张图篇是分类到汽车：不仅识别出图片的类型，还将目标物体的位置标出来叫做...

2018-06-12 23:08:57 3926

原创【卷积神经网络】Lesson 2--深层卷积神经网络

课程来源：吴恩达深度学习课程《卷积神经网络》笔记整理：王小草时间：2018年6月6日outline:本文第1节主要会讲解5个经典的神经网络： - LeNet-5(1998年） - AlexNet（2012年ILSVRC第一名） - z-net（2013年ILSVRC第一名） - VGG（2014年ILSVRC第二名,但被广泛应用于其他图像任务） - Googl...

2018-06-12 23:04:23 3008 2

原创【卷积神经网络】Lesson 1--卷积神经网络基础

课程来源：吴恩达深度学习课程《卷积神经网络》笔记整理：王小草时间：2018年6月4日1.计算机视觉1.1 计算机视觉的3个问题（1）图像分类图像分类是一个在工业界广泛使用的需求，从最早的识别手写数字，邮编到现在的人脸识别。（2）物体检测目前物体检测的应用也相当广泛。比如通过城市与道路上的监控视频可以实时捕捉车辆，行人的动态；再比如自动驾驶汽车中也...

2018-06-12 23:03:00 1626 1

原创【结构化机器学习项目】Lesson 2--机器学习策略2

课程来源：吴恩达深度学习课程《结构化机器学习项目》笔记整理：王小草时间：2018年6月3日1.误差分析1.1 误差分析当算法还没有到达human level时，你需要去分析算法带来的误差，并且决定接下去应该如何优化，从而减小误差。这个过程叫做误差分析。将设在猫狗分类的任务上，若dev set上的error有10%，此时你需要找出这些错误的case,然后统计猫...

2018-06-03 19:07:07 1076

原创【结构化机器学习项目】Lesson 1--机器学习策略1

课程来源：吴恩达深度学习课程《结构化机器学习项目》笔记整理：王小草时间：2018年6月1日为什么我们需要使用机器学习策略？因为机器学习策略可以帮助我们在正确的方向上优化模型。本文主要分成4部分，第一部分介绍一下什么是正交化；第二部分介绍监督模型的评价指标；第三部分介绍训练集/开发集/测试集的划分；第四部分比较模型与人的表现。这些都是一些机器学习模型训...

2018-06-03 19:05:56 572

原创【改善神经网络】Lesson 3--超参数调试、batch正则化与程序框架

课程来源：吴恩达深度学习课程《改善神经网络》笔记整理：王小草时间：2018年5月29日1.超参数调试1.1 超参数至此，神经网络基本的超参数已经遇到了这些（按重要性分类）：第一重要： learning rate 第二重要： momentum中的β learning rate decay mini-batch size 第三重要： layers’...

2018-05-29 09:15:06 952

原创【改善神经网络】Lesson 2--优化算法

课程来源：吴恩达深度学习课程《改善神经网络》笔记整理：王小草时间：2018年5月26日本文要讲的是优化算法，使你的神经网络运行得更快。1.mini-batch梯度下降1.1 如何得到mini-batch可将所有样本的特征x表示成一个大矩阵，维数为（n, m),其中n为特征的维数，m为样本的总数目： X = [x(1), x(2), ...,x(m)]可...

2018-05-29 09:13:19 1106

原创【改善神经网络】Lesson 1--深度学习的实用层面

1.训练集、开发集与测试集训练监督模型需要数据集，有了数据集之后，需要先拆分数据集。即将数据集拆分成3类：（1）训练集：用于训练模型（2）开发集：用于寻找最优的超参数（3）测试集：用于测试与评估模型拆分的比例：对于小数据集：一般采用60%， 20%，20%这样的比例对于大数据集：比如100万样本，则1万条做开发集，1万跳做测试集足矣，因此比例可以是99.5%， ...

2018-05-29 09:10:56 697

原创【神经网络基础】第三课--深层神经网络

课程来源：吴恩达深度学习课程《神经网络基础》笔记整理：王小草时间：2018年5月16日1.深层神经网络逻辑回归是一个very shallow network: 只有一个隐藏层的网络是一个2 layer neural netowork,也称shallow neural network: 隐藏层>=2的网络称为deep neural network: ...

2018-05-16 09:04:07 503

原创【神经网络基础】第二课--浅层神经网络

课程来源：吴恩达深度学习课程《神经网络基础》笔记整理：王小草时间：2018年5月15日1.神经网络概览回顾逻辑回归的结构：圆圈节点内的计算如下，先计算线性z，再过一个sigmoid函数得到a，然后计算损失函数，进行梯度下降法求最优参数。推广到神经网络,每个圆圈节点都代表以上z，a两步计算（第一层用1表示，第而层用2表示）相当于如下计算过程： ...

2018-05-15 08:15:55 1617

原创【神经网络基础】第一课--逻辑回归

课程来源：吴恩达深度学习课程《神经网络基础》笔记整理：王小草时间：2018年5月15日1.什么是二分类1.1 二分类��给定一张图片，要识别出这张图片，“是猫”或“不是猫“的问题就是二分类问题。输入以x表示，输出以y表示。如何表示图片：计算机是如何计算图片的呢？一张图片实际上由一堆像素构成，一堆像素可以由矩阵表示出来。如果你输入的是一张64*64...

2018-05-15 08:14:59 1161 1

原创【序列模型】第三课--序列模型和注意力机制

欢迎关注王小草的微信公众号，推送大数据，机器学习，深度学习，NLP等原创文章，欢迎交流与指正：这一课将学习sequence2sequence model，广泛地应用于机器翻译等领域1.基础模型basic model以翻译为例，将如下一句法文翻译成英文，输入是法文的每个单词，输出是英文的每个单词，分别用x&amp;amp;lt;t&amp;amp;gt;,y&amp;amp;lt;t&amp;amp;gt;表示：如何构建

2018-05-09 08:33:45 3093 4

原创【序列模型】第二课--自然语言处理与词嵌入

今日感想：窗外是瓢泼大雨。来到杭州后，最大的变化就是说话少了，白天上班部门里的IT男神们只顾打代码如飞，闭口不语；晚上回到出租屋，也只剩一个人的独处。要么看书看论文，要么写写博客和日志，要么弹弹古筝哼个跑调的小曲，或是去舞蹈室跳1小时舞，满背大汗得走过太寂静的紫荆文路，把所有的期待藏进独自妖艳的夜色。然而，又总是满心欢喜，欢喜这日复一日枯燥与无味背后，沉默着的，成长与坚持。欢迎关注王小草的...

2018-05-05 17:45:58 5812 1

原创【序列模型】第一课--循环序列模型

欢迎关注王小草的微信公众号，推送大数据，机器学习，深度学习，NLP等原创文章，欢迎交流与指正：课程来源：吴恩达深度学习课程《序列模型》笔记整理：王小草时间：2018年4月28日吴恩达的课程一直是我深爱喜绝的，深入浅出，10分钟可以讲完一个可能要一个小时或者半天理解的知识点，并且讲得老少都懂，男女皆晓。因此这次早起晚睡抽出时间来整理他课程的笔记，便于之后回顾与复习。本...

2018-05-04 15:17:39 3452

原创 10分钟构建人人都能学会的个性化聊天机器人-使用AIML（王小草博客）

本文主要介绍什么是aiml, 如何python环境安装aiml，如何使用与制作一个属于自己的聊天机器人1 aiml初识1.1 demo展示用aiml写了一个简单的微信聊天机器人的demo,暂且叫小草聊天机器人吧哈哈哈，以下为部分聊天截图：（太懒了截图之后补上，我把测试版的聊天机器人放在我个人微信上了，想亲测的可以直接来我个人微信撩它–咳咳，但不准撩主人）1.2 什么是a

2018-02-01 20:20:11 15966 13

原创对话系统文献综述

论文原文地址：https://arxiv.org/pdf/1711.01731.pdf一、简介该论文对对话系统进行了综述，并讨论了今后可能的研究方向。对话系统大致被分成两类： (1) 任务为导向的对话系统任务为导向的对话系统是帮助用户去完成特定任务，比如找商品，订住宿，订餐厅等。实现任务为导向的对话系统，主要有两类方式：(1) Pipeline method, (2)End-

2018-01-09 11:37:40 8266 2

原创王小草【机器学习】笔记--提升

王小草【机器学习】笔记–提升标签（空格分隔）：王小草机器学习笔记集成学习集成学习（ensemble learning）是通过构建多个学习器来完成学习任务的。按照集成中学习器是否是同种类型，可分为：同质(homogeneous)的集成:集成中只包含同种类型的个体学习器，例如决策树集成全是决策树，神经网络集成全是神经网络。同质集成中的个体学习器称为“基学习器(base leaner)”,学习算法称

2017-05-06 16:53:01 2220 1

原创 06：Tensorflow的可视化工具Tensorboard的初步使用

标签（空格分隔）：王小草Tensorflow笔记笔记整理者：王小草笔记整理时间：2017年3月7日代码原文请见github：当使用Tensorflow训练大量深层的神经网络时，我们希望去跟踪神经网络的整个训练过程中的信息，比如迭代的过程中每一层参数是如何变化与分布的，比如每次循环参数更新后模型在测试集与训练集上的准确率是如何的，比如损失值的变化情况，等等。如果能在训练的过...

2017-03-16 18:45:33 155093 47

原创 05：Tensorflow高级API的进阶--利用tf.contrib.learn建立输入函数

标签（空格分隔）：王小草Tensorflow笔记笔记整理者：王小草笔记整理时间：2017年2月27日笔记对应的官方文档：https://www.tensorflow.org/get_started/input_fn#setup 官方文档最近一次更新时间2017年2月15日在实际的业务中，可能会遇到很大量的特征，这些特征良莠不齐，层次不一，可能有缺失，可能有噪声，可能规模不一致，可能类型不

2017-03-16 18:44:13 8791

原创 04：一文初探Tensorflow高级API使用（初学者篇）

标签（空格分隔）：王小草Tensorflow笔记笔记整理者：王小草笔记整理时间：2017年2月26日对应的官方文档地址：https://www.tensorflow.org/get_started/tflearn 官方文档上次更新时间：2017年2月15日今天我们要向Tensorflow高级API的学习门槛迈进一步。别听到高级API就觉得是难度高的意思，其实高级API恰恰是为了降低大家的

2017-03-08 12:48:46 9062 4

原创 03：一文全解：使用Tensorflow搭建卷积神经网络CNN识别手写数字图片

标签（空格分隔）：王小草Tensorflow笔记笔记整理者：王小草笔记整理时间：2017年2月25日官方文档原文地址：https://www.tensorflow.org/get_started/mnist/pros 官方文档最近更新时间：2017年2月15日欢迎机器学习，深度学习爱好者一起交流。也欢迎关注我的喜马拉雅账号：”好吧我真的叫王草”。分享由集智俱乐部推出的两本好书：《科学

2017-02-26 16:05:33 10006 11

原创 02：一文全解：利用谷歌深度学习框架Tensorflow识别手写数字图片（初学者篇）

02：一文全解：利用谷歌深度学习框架Tensorflow识别手写数字图片（初学者篇）标签（空格分隔）：王小草Tensorflow笔记笔记整理者：王小草笔记整理时间2017年2月24日 Tensorflow官方英文文档地址：https://www.tensorflow.org/get_started/mnist/beginners 本文整理时官方文档最近更新时间：2017年2月15日1.案例

2017-02-24 12:41:08 13375 9

原创 01：一文入门谷歌深度学习框架Tensorflow

标签：王小草Tensorflow笔记前期准备：安装好tensorflow1.0Tensorflow API概要Tensorflow提供了很多API。最底层的API是Tensorflow core，推荐给机器学习的研究者或者那些想对模型有更好的掌控的大神们用～较高层的API是在Tensorflow core的基础上封装建立的，肯定比Tensorflow core要更易学，更易使用啦～另外，较高层的A

2017-02-21 16:03:49 12685 3

原创 2.模型性能的比较检验

标签（空格分隔）：王小草机器学习笔记通过模型评估的方法与性能的度量我们知道了学习器的性能指标，但是如何知道这个学习器的性能是否真的达到要求，或者如何在统计学上比较学习器A优于学习器B，以及这个把握有多大呢？在统计学上，我们使用“统计假设检验”(hypothesis test)。2.1 对单个学习器泛化性能的假设检验做了多次留出法或者交叉验证法之后，会有多个测试误差率，此时使用“t检验”(t-tes

2017-02-15 10:57:27 10787 2

原创特征的转换_06-特征降维PCA

1. 为什么特征要降维？（1）特征之间如果存在多重共线性，或者说是较高的相似性，则模型会不准确，或被高估了水平，PCA降维可以消除特征之间的相似性，保持特征的独立性。（2）特征太多则模型复杂，在保持模型表现能力不减弱的情况下对特征进行降低维度能够简化模型。2. 如何降维？比如有特征x1, x2, x3. 寻找PC1 = w11*x1 + w12*x2 + w13*x3; PC2 = w21*x1

2017-02-07 16:07:01 1182

原创特征的转换_05-标签索引的转换与特征的组合

笔记整理时间：2017年1月20日笔记整理人：王小草1.StringIndexer将类别型的标签变量转换成数字索引。根据该类别出现的频数由高到低排列分别对应索引0,1,2，…如果输入的是数字，那么会将数字转换成字符串类型，然后再进行相同方式的建立对应的索引。比如可以将如下第二列的类别变量： id category 0 a 1 b 2 c 3 a 4

2017-02-07 16:06:09 990

原创特征的转换_04-探索最优特征组合

笔记整理时间：2017年1月20日笔记整理者：王小草向公司请了5天年假，提前回家过年。长大了对过年反而没有太大期许，一切都是匆匆的路程，匆匆的相见，匆匆的碰杯与祝福，然后又匆匆回归朝夕规律地平淡。该想念的还是很想念，该失去的还是要失去。希望家人和亲朋都健康幸福。1.智能乘积ElementwiseProduct1.1 概述在训练模型的时候，经常会遇到这样的情况，特征之间的规模相差悬殊，对模

2017-02-07 16:05:08 3437

原创特征的转换_03-标准化，归一化，正则化

1.标准化StandardScaler1.1 概述我们知道，在训练模型的时候，要输入features,即因子，也叫特征。对于同一个特征，不同的样本中的取值可能会相差非常大，一些异常小或异常大的数据会误导模型的正确训练；另外，如果数据的分布很分散也会影响训练结果。以上两种方式都体现在方差会非常大。此时，我们可以将特征中的值进行标准差标准化，即转换为均值为0，方差为1的正态分布。所以在训练模型之前，一定

2017-02-07 16:03:19 10227 1

原创特征的转换_02-连续变量的离散化

笔记整理时间：2017年1月17日笔记整理者：王小草今日记事：把头发高高盘起，画上一字眉。工作后就少了太多锐气，磨得圆滑尚且是好，但圆了就难免要缺失点笃定的方向，最怕滚来滚去，滚回起点。而方向越笃定，心越沉下来，难免要变得好安静。1. 二元转换BinarizerBinarizer是将连续型变量根据某个阀值，转换成二元的分类变量。小于该阀值的转换为0，大于该阀值的转换为1.如下：输入的是0

2017-02-07 16:02:27 9320

原创特征的转换_01-自然语言相关特征转换

笔记整理时间：2017年1月11日笔记整理者：王小草SparkML 2.1.0的官方文档给出了21类特征转换的方法，其中关于自然语言处理领域的有3类，分别是：Tokenizer分词，StopWordsRemover去停用词，n-gram。本文主要介绍这三种方法的使用。1. Tokenizer分词在对文本做数据挖掘的时候，分词往往是第一步：将一个句子拆分成单词的集合。在文本特征的提取笔记中，讲

2017-02-07 16:01:47 1181

空空如也

空空如也