- 博客(326)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 AI藏经阁
NLP《A Neural Conversational Model )》(对话机器人)【笔记】《Bag of Tricks for Efficient Text Classification》(fastText)【笔记】《Convolutional Neural Networks for Sentence Classification》(TextCnn)【笔记】《Attention ...
2018-05-16 10:08:57
785
原创 论文阅读：《A Primer on Neural Network Models for Natural Language Processing》（二）
https://blog.csdn.net/u011239443/article/details/801192454 前馈神经网络（略）5 单词嵌入神经网络方法的一个主要组成部分是使用嵌入-在低维空间中表示每个特征作为向量。但是向量来自哪里呢？本节将调查常见的方法。5.1 随机初始化当有足够的监督训练数据可用时，可以将特征嵌入与其他模型参数相同：将嵌入向量初始化为随机值...
2018-04-28 13:02:54
1019
原创 论文阅读：《Convolutional Neural Networks for Sentence Classification》
https://blog.csdn.net/u011239443/article/details/80094426论文地址：http://xueshu.baidu.com/s?wd=paperuri%3A%287ea81182039becbb82a22aaae8099c15%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fde.arxiv.org%2Fpdf%2F1408.5882&ie=utf-8&sc_us
2018-04-26 15:16:31
1772
原创 论文阅读：《Bag of Tricks for Efficient Text Classification》
本文提出了一种简单而有效的文本分类和表示学习方法。我们的实验表明，我们的快速文本分类器fastText在准确性方面通常与深度学习分类器保持一致，并且在训练和评估中速度快很多。我们可以在不到10分钟的时间内使用标准的多核CPU对超过10亿个单词进行快速文本训练，并在不到一分钟的时间内对312K类中的50万个句子进行分类。建立良好的文本分类表示是许多应用程序的重要任务，如Web搜索，信息检索，排序和文档分类。最近，基于神经网络的模型在计算句子表示方面越来越受欢迎。
2018-04-25 11:22:29
3644
2
原创 论文阅读：《A Primer on Neural Network Models for Natural Language Processing》（一）
https://blog.csdn.net/u011239443/article/details/80055046 论文地址：http://u.cs.biu.ac.il/~yogo/nnlp.pdf本论文很长，设计了许多神经网络与深度学习的基础知识。本文，我们将只针对和自然语言处理领域相关的章节进行深入的研读。摘要在过去的几年中，神经网络作为强大的机器学习模型重新出现，在图像识别...
2018-04-23 19:35:06
606
原创 《deep learning》学习笔记（8）——深度模型中的优化
https://blog.csdn.net/u011239443/article/details/80046684机器学习中的算法涉及诸多的优化问题，典型的就是利用梯度下降法(gradient descent)求使损失函数 J(theta) 下降的模型参数 theta 。在深度学习，尤其是深度神经网络的训练和预测中，大的模型往往要花上数天甚至是数月的训练时间，因此虽然模型的优化费事费力，仍然是...
2018-04-23 10:09:48
8097
原创 论文阅读：《Improving Content-based and Hybrid Music Recommendation using Deep Learning》
https://blog.csdn.net/u011239443/article/details/79984751论文地址：https://www.smcnus.org/wp-content/uploads/2013/09/deep_mr.pdf摘要 现有的基于内容的音乐推荐系统通常采用两阶段的方法。他们首先提取传统的音频内容特征，如 Mel-frequency cepstra...
2018-04-18 10:01:35
1168
原创 论文阅读：《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neu》
https://blog.csdn.net/u011239443/article/details/79973269论文地址： http://people.idsia.ch/~santiago/papers/icml2006.pdf摘要许多现实世界中的序列学习任务需要从嘈杂、不分段输入数据标签序列的预测。在语音识别，例如，声信号转录成文字。递归神经网络（RNNs）是功能强大的序列的...
2018-04-17 13:01:42
2456
原创 论文阅读：《A Neural Conversational Model》
会话建模是自然语言理解和机器智能中的一项重要任务。虽然以前的方法存在，但它们往往局限于特定的领域（例如预订机票），需要手工制作的规则。在本文中，我们提出了一个简单的方法，这个任务使用最近提出的序列到序列框架。我们的模型预测了交谈的谈话中前面的句子或句子的一句话。我们的模型的优点是可以进行端到端的训练，因此需要少得多手工制作的规则。我们发现，给出了大量的会话训练数据集，这种简单的模型可以生成简单的会话。我们的初步结果表明，尽管优化错误的目标函数，该模型能够很好地进行逆向谈判。
2018-04-12 22:28:59
2522
1
转载 傅里叶变换
作 者：韩 昊 知 乎：Heinrich 微 博：@花生油工人 知乎专栏：与时间无关的故事谨以此文献给大连海事大学的吴楠老师，柳晓鸣老师，王新年老师以及张晶泊老师。转载的同学请保留上面这句话，谢谢。如果还能保留文章来源就更感激不尽了。——更新于2014.6.6，想直接看更新的同学可以直接跳到第四章———— ...
2018-04-08 17:50:02
237
转载 谷歌工程师：聊一聊深度学习的weight initialization
转载自：http://www.toutiao.com/a6398066590973624577/?tt_from=weixin&utm_campaign=client_share&app=news_article&utm_source=weixin&iid=8721486139&utm_medium=toutiao_android&wxshare_count=1 TLDR (or th
2018-01-17 13:48:03
452
原创 TensorFlow指南（二）——练习思考：上手TensorFlow
http://blog.csdn.net/u011239443/article/details/79075392 创建一个计算图而不是直接执行计算的主要好处是什么?主要的缺点是什么?答：主要好处:TensorFlow可以自动计算你的梯度(使用反向模式autodiff)。TensorFlow可以在不同的线程中并行地运行并行操作。它使得在不同的设备上运行相同的模型变得更加容易。
2018-01-16 15:26:46
684
转载 自动微分(Automatic Differentiation)简介
http://blog.csdn.net/aws3217150/article/details/70214422现代深度学习系统中（比如MXNet， TensorFlow等）都用到了一种技术——自动微分。在此之前，机器学习社区中很少发挥这个利器，一般都是用Backpropagation进行梯度求解，然后进行SGD等进行优化更新。手动实现过backprop算法的同学应该可以体会到其中的复杂性和易
2018-01-16 14:56:53
1058
原创 TensorFlow指南（一）——上手TensorFlow
http://blog.csdn.net/u011239443/article/details/79066094 TensorFlow是谷歌开源的深度学习库。不多介绍，相信准备学习TensorFlow的同学也会自己去更多的了解。本系列博文讲尽量不涉及深度学习理论，但是会给出相关理论对应的博文等资料供大家参阅。这里，首先要跟大家介绍一个计算图的概念： TensorFlow会根据代码先创建
2018-01-15 16:35:15
1939
1
原创 《深度学习Ng》课程学习笔记04week1——卷积神经网络
http://blog.csdn.net/u011239443/article/details/790570161.1 计算机视觉计算机视觉领域的问题图片分类目标检测图片风格转化深度学习在图像中的应用 过多的权重参数矩阵让计算、内存消耗使得传统神经网络不能接受。1.2 边缘检测示例过滤器示例 该过滤器为竖直边缘过滤器。为什么叫
2018-01-14 15:48:55
585
转载 深度学习论文分类整理
1 深度学习历史和基础1.0 书籍█[0] Bengio, Yoshua, Ian J. Goodfellow, and Aaron Courville. "Deep learning." An MIT Press book. (2015). [pdf] (Ian Goodfellow 等大牛所著的教科书，乃深度学习圣经。你可以同时研习这本书以及以下论文) ★★★★★地址：https://githu
2018-01-03 11:18:32
2212
转载 tensorflow架构
原文 ： http://blog.csdn.net/stdcoutzyx/article/details/51645396Basic Concepts张量(Tensor)名字就是TensorFlow，直观来看，就是张量的流动。张量(tensor)，即任意维度的数据，一维、二维、三维、四维等数据统称为张量。而张量的流动则是指保持计算节点不变，让数据进行流动。这样的设计是针对连接式的机器学习算法，比如逻
2018-01-01 14:19:09
1106
原创 《deep learning》学习笔记（7）——深度学习中的正则化
机器学习中的一个核心问题是设计不仅在训练集上误差小，而且在新样本上泛化能力好的算法。许多机器学习算法都需要采取相应的策略来减少测试误差，这些策略被统称为正则化。而神经网络由于其强大的表示能力经常遭遇过拟合，所以需要使用许多不同形式的正则化策略。正则化通过对学习算法的修改，旨在减少泛化误差而不是训练误差。目前有很多正则化策略，有些是向机器学习模型中添加限制参数值的额外约束，有些是向目标函数添加额外项来
2017-10-02 18:49:10
5267
2
原创 《deep learning》学习笔记（6）——深度前馈网络
通过学习一个表示来解决 XOR 问题。图上的粗体数字标明了学得的函数必须在每个点输出的值。(左) 直接应用于原始输入的线性模型不能实现 XOR 函数。当 x 1 = 0 时，模型的输出必须随着 x 2 的增大而增大。当 x 1 = 1 时，模型的输出必须随着 x 2 的增大而减小。线性模型必须对x 2 使用固定的系数 w 2 。因此，线性模型不能使用 x 1 的值来改变 x 2 的系数，从而不能解决这个问题。(右) 在由神经网络提取的特征表示的变换空间中，线性模型现在可以解决这个问题了。在我们的示例解决方案
2017-10-01 17:29:41
6017
1
原创 论文阅读：《基于深度学习的线上农产品销量预测模型研究》
ICM模型文中提出的 model- Imperial Crown Model(short for ICM)简单讲就是用自动编码器将权值初始化，然后反向传播优化模型。关于自动编码器可以参阅：http://blog.csdn.net/u011239443/article/details/76692801#t1网络结构图： 算法具体实现步骤：流程图： 个人感觉，从模型上本文就是套用了深度学习中的普通的
2017-09-29 16:47:46
2590
原创 《深度学习Ng》课程学习笔记03week2——机器学习（ML）策略（2）
2.1 进行误差分析标注错误： 2.2 清楚标注错误的数据 纠正错误 dev / test 数据集的方法： 2.3 快速搭建你的第一个系统，并进行迭代尽快的搭建你的第一个系统。 2.4 在不同的划分上进行训练并测试对于不同来源的数据，最佳方案可能并不是将其混合。如，我们最终需要预测的数据来自于app，那么 dev / test 数据集应该也要来自于 app。option 2 会是更好的选择：
2017-09-29 12:33:45
715
原创 论文阅读：《基于机器学习的企业定价算法研究》
《基于机器学习的企业定价算法研究》 冯 平，宣慧玉，高宝俊 (西安交通大学管理学院．陕西西安710049)论文阅读笔记ASPEN中企定价的机理是：在定价过程中，企业首先要根据叫个因素判断自己当前所处的市场状态，再采取相应的对策。在每种市场状态下，企业都有三种对策：提高价格，降低价格和维持价格不变。ASPEN给每种市场状态的这三种对策分别分配一个概率值．企业根据这种概率值来选择对策。一旦选用的对策
2017-09-28 17:54:00
3482
原创 《深度学习Ng》课程学习笔记03week1——机器学习（ML）策略（1）
1.1 为什么是 ML 策略各种各样的机器学习策略。如何选择、使用？ 1.2 正交化调参时，应将两个参数进行正交，降低操作的复杂： 1.3 单一数字评估指标 用平均值来代替多个值： 1.4 满足和优化指标准确率和运行时间之间的协调： 1.5 训练 / 开发 / 测试集划分1.6 开发集合测试集的大小传统开发集合测试集的大小： 深度学习下，数据量很大，1%的开发集 和 1%的测试集数据
2017-09-27 20:58:36
779
原创 《深度学习Ng》课程学习笔记02week3——超参数调试、Batch正则化和程序框架
http://blog.csdn.net/u011239443/article/details/780886023.1 调试处理参数： - 不要使用格子点调参，而应该使用随机点调参。因为格子点对于单一粒度 调参时，我们可以先调参选到几个结果较优的点（如图被蓝色圈住的） 3.2 为超参数选择合适的范围对于 alpha 的取值：我们不应该如上述的方法取值，而应先划分（如下），再取值：3.3 超参数
2017-09-25 19:33:24
1129
原创 《深度学习Ng》课程学习笔记02week2——优化算法
2.1 Mini-batch 梯度下降法2.2 理解 mini-batch 梯度下降法2.3 指数加权平均对温度做指数加权平均曲线：β = 0.98 时，会得到更加平缓的曲线，如图绿色。 β = 0.5 时，会得到更加波动的曲线，如图黄色。2.4 理解指数加权平均2.5 指数加权平均的偏差修正当在训练刚刚开始的时候，v会很小，为了修正这种偏差，我们可以使用以下方法： 2.6 动量梯度下降法（mo
2017-09-22 18:57:56
1025
原创 《deep learning》学习笔记（4）——数值计算
对于机器学习的问题，有一部分可以通过数学推导的方式直接得到用公式表达的解析解，但对绝大多数的问题来说，解析解是不存在的，需要使用迭代更新的方法求数值解。然而实数的精度是无限的，而计算机能够表达的精度是有限的，这就涉及到许多数值计算方法的问题。4.1 上溢和下溢由于计算机表达实数的精度的有限，在某些情况下许多复杂的复合运算中的四舍五入会导致一个接近0的小数变为0或者一个非常大的数被认为是无穷，这都会
2017-09-21 09:57:47
1025
原创 《deep learning》学习笔记（3）——概率与信息论
3.1 为什么要使用概率？概率论是用来描述不确定性的数学工具，很多机器学习算都是通过描述样本的概率相关信息或推断来构建模型；信息论最初是用来描述一个信号中包含信息的多少进行量化，在机器学习中通常利用信息论中的一些概念和结论来描述不同概率分布之间的关系。3.2 随机变量随机变量: 可以随机取不同值的变量，在机器学习算法中，每个样本的特征取值，标签值都可以看作是一个随机变量，包括离散型随机变量和连续型
2017-09-20 14:11:10
2219
原创 《深度学习Ng》课程学习笔记02week1——深度学习的实用层面
1.1 训练 / 开发 / 测试集1.2 偏差 / 方差低偏差高方差，则表示泛化能力不强，可能过拟合。 高偏差，则表示可能还欠拟合。 1.3 机器学习基础1.4 正则化逻辑回归正则化神经网络正则化1.5 为什么正则化可以减少过拟合？ 对于S类激活函数，当W接近与零时，激活函数更加趋近于线性函数，所以不会有太复杂的划分： 1.6 Dropout 正则化 1.7 理解 Dropout更多理解和
2017-09-12 16:50:08
819
原创 《deep learning》学习笔记（2）——线性代数
2.1 标量、向量、矩阵和张量 在numpy中，可以用以下方式生成各种维度的张量：>>> import numpy as np## 生成元素全为0的二维张量，两个维度分别为３，４>>> np.zeros((3,4))array([[ 0., 0., 0., 0.], [ 0., 0., 0., 0.], [ 0., 0., 0., 0.]])#
2017-09-12 10:48:58
837
原创 《深度学习Ng》课程学习笔记01week4——深层神经网络
4.1 深层神经网络4.2 前向和反向传播前向传播反向传播 反向传播的四个基本方程 总结4.3 深层网络中的前向传播4.4 核对矩阵的维数4.5 为什么使用深层表示可以从简单特征到复杂特征：从电路理论上来说需要隐藏层才能多特征计算： 4.6 搭建深层神经网络块4.7 参数 VS 超参数4.8 这和大脑有什么关系？
2017-09-11 09:10:49
1436
原创 《deep learning》学习笔记（1）——引言
http://blog.csdn.net/u011239443/article/details/77890949 人工智能（artificialintelligence, AI）已经成为一个具有众多实际应用和活跃研究课题的领域，并且正在蓬勃发展。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张 ‘‘深’’（层次很多）的图。基于这个原因，我
2017-09-08 09:24:23
991
原创 《深度学习Ng》课程学习笔记01week3——浅层神经网络
3.1 神经网络概览3.2 神经网络表示3.3 计算神经网络的输出 对应的正向传播公式：3.4 多个例子中的向量化3.5 向量化实现的解释3.6 激活函数更多可以参阅《神经网络-激活函数对比》3.7 为什么需要非线性激活函数？如果没有非线性激活函数，那么神经网络其实就是只是单个神经元的线性组合： 3.8 激活函数的导数sigmoidTanhReLU3.9 神经网络的梯度下降法更多可见 ： htt
2017-09-07 17:55:11
1474
原创 《深度学习Ng》课程学习笔记01week2——神经网络基础
2.1 二分分类二分类例子： 判断图片中是否有猫： 将图片RGB矩阵拉伸为向量： 使用上面的特征向量来判断图片中是否有猫。2.2 logistic 回归2.3 logistic 回归损失函数这里给出的是交叉熵损失函数：2.4 梯度下降法为了最小化代价函数，找到 w,b 的最优解 对 代价函数对 w，b 求导，再根据学习率，更新 w 和 b ：2.5 到 2.8 是非常基础的导数讲解，这里
2017-09-05 16:10:13
973
原创 《neural network and deep learning》题解——ch03 其他技术（momentun，tanh）
http://blog.csdn.net/u011239443/article/details/77848503问题一 • 如果我们使⽤ µ > 1 会有什么问题？ • 如果我们使⽤ µ < 0 会有什么问题？如果我们使⽤ µ > 1，∇C趋近于0时，v依旧会越来越大。如果我们使⽤ µ < 0，∇C趋近于0时，v会变为梯度的反方向。问题二 增加基于 momentum 的随机梯度下降到
2017-09-05 10:34:56
1135
原创 《neural network and deep learning》题解——ch03 如何选择神经网络的超参数
将你的想法实现在 network2.py 中,运行这些实验和 3 回合（10 回合太多，基本上训练全部，所以改成 3）不提升终止策略比较对应的验证准确率和训练的回合数。cnt 记录不提升的次数，如达到max_try，就退出循环。对问题二中的代码进行稍微的修改，128 = 2 ^ 7。使用梯度下降来确定 η 的障碍在于，η 的最优解不是一个常数，随着迭代次数的增加，η 的最优解会越来越小。修改 network2.py 来实现提前终止,并让 n 回合不提升终止策略中的 n 称为可以设置的参数。
2017-08-31 15:59:31
1757
2
原创 《深度学习Ng》课程学习笔记01week1——深度学习概论
http://blog.csdn.net/u011239443/article/details/77719187课程地址：http://mooc.study.163.com/course/deeplearning_ai-2001281002#/info什么是神经网络如房屋价格预测问题：图中的圈圈代表神经元，神经元里面是ReLU激活函数 ： max（0，x）。类似于这样的神经元，许许多多个，那就组成的
2017-08-30 17:11:12
802
转载 神经网络-激活函数对比
本博客仅为作者记录笔记之用，不免有很多细节不对之处。 还望各位看官能够见谅，欢迎批评指正。 更多相关博客请猛戳：http://blog.csdn.net/cyh_24 如需转载，请附上本文链接：http://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中，我们会很自然的使用一些激活函数，比如：sigmoid、ReLU等等。不过
2017-08-30 11:02:01
1010
原创 《neural network and deep learning》题解——ch03 再看手写识别问题题解与源码分析
http://blog.csdn.net/u011239443/article/details/77649026完整代码：https://github.com/xiaoyesoso/neural-networks-and-deep-learning/blob/master/src/network2.py我们之前根据《neural network and deep learning》题解——ch02
2017-08-28 15:12:07
2844
2
原创 《机器学习技法》学习笔记11——GBDT
http://blog.csdn.net/u011239443/article/details/77435463Adaptive Boosted Decision Tree关于AdaBoost、提升树可先参阅：http://blog.csdn.net/u011239443/article/details/77294201 这里仅对其做一定的补充。 对提升决策树桩的模型中，我们对树的节点进行分隔时
2017-08-20 22:53:52
1322
原创 《机器学习实战》（十三）—— PCA
协方差矩阵统计学的基本概念协方差上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：来度量各个维度偏离其均
2017-08-18 09:55:50
2300
4
SMP2020微博情绪分类技术评测数据集
2022-12-29
jblas-1.2.4-SNAPSHOT
2016-06-26
Spark机器学习文本处理数据集
2016-06-20
Spark机器学习推荐模型数据集
2016-06-18
Spark机器学习回归模型数据集
2016-06-15
Spark机器学习分类模型的数据集
2016-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人