- 博客(18)
- 收藏
- 关注
RSS订阅原创 debian系列linux 启动后黑屏,只有一个光标
重复的按ctrl+alt+F1 一直到光标消失,如果跳出一个客户端登录的话就再重复按一下上面介绍的组合键,过一会儿就开机了
2019-03-29 10:58:15
12682
4
原创 bert
bert创建日期 星期六 23 三月 2019从模型的创新角度看一般，创新不大，但是实验的效果太好了，基本刷新了很多NLP的任务的最好性能，另外一点是BERT具备广泛的通用性，就是说绝大部分NLP任务都可以采用类似的两阶段模式直接去提升效果。与最近的语言表征模型不同，BERT基于所有层中的左、右语境进行联合调整，来预训练深层双向表征。只需要增加一个输出层，就可以对预训练的BERT表征进...
2019-03-23 15:24:41
949
原创 Hierarchical Attention Networks
Hierarchical Attention Networks创建日期 星期一 18 三月 2019第一： 利用文档原有的层次结构特性（句子是由单词组成，文档是由句子组成），先使用单词的词向量表示句子，再此基础上以句子向量构建文档的信息表示。第二：在文档中，句子对文档的重要性贡献有差异，在句子中单词对句子的重要性贡献也有差异。而单词和句子的重要性依赖于上下文环境。相同的单词，在不同的上下...
2019-03-18 20:09:09
736
原创 基本的Attention原理
基本的Attention原理创建日期 星期一 18 三月 2019注意力机制就是加权求和，将需要重点注意的地方设置大的权重，可以来解决rnn的局限问题；Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14]，他们在RNN...
2019-03-18 20:06:51
561
原创 rnn 循环神经网络
rnn 循环神经网络创建日期 星期四 10 一月 2019rnn为 recurrent natural network, 递归神经网络 是一种基于序列的神经网络,序列可以是时间,文本序列等,和普通的神经网络的不同是rnn不光在层之间有权值,同一个层中每个神经元之间也有权值;但是这个有个缺点是只能有短期记忆,过于长的文本之间的关系可能计算不好,这里就需要lstm;RNN是一种可以预测...
2019-03-17 15:29:28
533
原创 卷积神经网络
卷积神经网络创建日期 星期五 15 三月 2019卷积神经网络的特点在于卷积；通俗的来说卷积就是局部扫描，然后进行训练识别，将一个图像卷积，从原来的n维矩阵进行折叠，进行降维操作，然后对其进行全连接加权，池化层等Layers used to build ConvNets卷积神经网络通常包含以下几种层：卷积层（Convolutional layer），卷积神经网路中每层卷积...
2019-03-15 22:28:39
835
原创 fasttext
fasttext创建日期 星期二 12 三月 2019fasttext 和CBOW模型很像,也是有一层输入层,然后隐藏层然后到输出层;fastText适合与短文本分类;是将所以词语映射成向量,从向量线性变换到特征层,然后从特征层来求最大似然函数;然后从该层映射到标签;FastText= word2vec中 cbow + h-softmax的灵活使用灵活体现在两个方面：模型的输...
2019-03-12 20:58:16
161
原创 深度学习优化
深度学习优化创建日期 星期一 11 三月 2019、学习与纯优化有什么不同2、神经网络优化中的挑战3、基本算法4、自适应学习率算法5 、优化策略与元算法学习与纯优化差别1、机器学习算法的目标是降低泛化误差，即J∗(θ)=E(x,y)→pdataL(f(x;η),y)J∗(θ)=E(x,y)→pdataL(f(x;η),y)，但事实上pdata我们不知道，我们只知道训练...
2019-03-11 19:31:15
284
原创 神经网络
神经网络创建日期 星期三 12 十二月 2018神经网络来源于模拟人类的神经元;使用激活函数,来进行阶跃,神经网络的每一层的个数被称为宽度,总层数被称为深度;每一层的激活函数必须一样?一般来说,神经网络由线性函数和非线性函数组成,线性函数用于层与层之间的传递,而非线性函数一般用来作为激活函数;简单来说,可以把这些看做是带权笛卡尔积,这些权值都是未知数,然后从这些开始进行权值的求值,...
2019-03-11 19:10:58
281
原创 LDA和PLSA
pLSA的总结1）pLSA应用于信息检索、过滤、自然语言处理等领域，pLSA考虑到词分布和主题分布，使用EM算法来学习参数。2） 虽然推导略显复杂，但最终公式简洁清晰，很符合直观理解，需用心琢磨；此外，推导过程使用了EM算法，也是学习EM算法的重要素材。二、LDA（1）共轭先验分布1）由于x为给定样本，P(x)有时被称为“证据”，仅仅是归一化因子，如果不关心P(θ|x)的具体...
2019-03-08 15:13:59
565
原创 svm
svm就是建立超平面,来进行分类,划分,而最优的划分和超平面到分类元素的最近距离;# -*- coding:UTF-8 -*-import matplotlib.pyplot as pltimport numpy as npimport random"""函数说明:读取数据Parameters: fileName - 文件名Returns: dataMat ...
2019-03-08 15:13:14
175
原创 互信息和点互信息
互信息和点互信息创建日期 星期四 07 三月 2019点互信息PMI(Pointwise Mutual Information)点互信息就是很亮两个失误的相关性,在概率论中，我们知道，如果x跟y不相关，则p(x,y)=p(x)p(y)。二者相关性越大，则p(x, y)就相比于p(x)p(y)越大。用后面的式子可能更好理解，在y出现的情况下x出现的条件概率p(x|y)除以x本身出现...
2019-03-07 21:55:49
1508
原创 TF-IDF
TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)简单介绍一下就是词出现的频率在特定文章中出现的次数越多,在所有文档中出现的次数越少,越能代表文章;就是特定文档出现的词作为该文档的代表;词频一般都会被归一化,防止长文档中词出现的数量多但是占比不如短文本中的词频;但是不一定词频越高了就越好,有些词对于主题原本就没有什么...
2019-03-05 21:06:22
131
原创 word2vec
word2vec创建日期 星期二 05 三月 2019word2vec,是用来训练词向量来做nlp的;google团队在2013年发表了word2vec工具,主要包含两个模型跳字模型(skip-gram) 连续词袋模型(CBOW)以及两种高效训练方法负抽样(negative sampling)和层序 (softmax)使用word2vec就可以比较好的表达不同次之间的相似和类比...
2019-03-05 21:05:07
238
原创 关于pip打开失败，python版本问题 ModuleNotFoundError: No module named 'distutils.util'
当我改变python3的软连接从3.7改为3.6时发生了以下错误Traceback (most recent call last): File "/usr/local/bin/pip3", line 7, in <module> from pip._internal import main File "/usr/local/lib/python3.6/dist-pa...
2019-03-03 18:41:41
5606
原创 准确率,精确率,召回率
准确率(accuracy),精确率(precision),召回率(recall)准确率,分类正确占所有分类的占比精确率,正确检索占所有实际检索到的占比召回率,预测的样本占该类应该被预测的数量的占比...
2019-03-02 21:02:27
235
原创 文本分类pytorch和tensorflow版探究
pytorch探究采用thucnews数据子集tensorflow使用tensorflow官网例子，数据集下载很慢，需要vpn；cnews那个例子我是用的是rnn模型，gru；#!/usr/bin/python# -*- coding: utf-8 -*-import tensorflow as tfclass TRNNConfig(object): """RNN配...
2019-03-02 21:01:42
401
原创 数据加载（python，spark）
数据加载创建日期 星期五 01 三月 2019这一章写一下数据加载的东西一般就是python加载或者jiava，scala加载java加载都很熟悉，就是流加载inputstream outputstream之类的python加载普通加载f = open(’test.txt','r') # 返回一个文件对象line = f.readline() # 调用文件的 readline...
2019-03-01 21:47:59
217
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人