machine learning
lizzy05
这个作者很懒,什么都没留下…
展开
-
ERROR: No matching distribution found for httpstan<4.5,>=4.4解决方法
问题在MINGW中用python -m pip install matplotlib 命令安装matplotlib后显示pystan没有安装成功,因此继续用python -m pip install pystan去安装pystan,结果报错信息为ERROR:Could not find a version that satisfies the requirement httpstan<4.5,>=4.4 (from pystan>=2.14->fbprophet) (from原创 2021-04-30 01:47:41 · 4776 阅读 · 0 评论 -
英文关键词提取之RAKE算法
转载自https://zhikaizhang.cn/RAKE算法是由2010年的论文Automatic keyword extraction from individual documents提出的,比TextRank算法效果更好,原repository链接是https://github.com/aneesha/RAKE,已经很久没有维护了,本文重新整理了代码,做了以下3个工作:使其支持...转载 2020-04-08 20:19:06 · 4083 阅读 · 0 评论 -
Jupyter notebook 报错 500 : Internal Server Error的解决方法
问题: 输入jupyter notebook后再浏览器点击.ipynb文件报错500 Internal Server Error,异常如下图所示解决方法:1). 先卸载jupyter并删除安装目录下的以jupyter开头的文件,再重新pip install jupyter安装jupyter,试验后再打开jupyter notebook, 仍无法正常打开.i...原创 2020-02-26 09:56:45 · 53136 阅读 · 46 评论 -
解决问题module 'tensorflow.compat.v2' has no attribute 'contrib'和ImportError cannot import name 'auto'
Error:当前tensorflow的版本是1.13.1和2.0.0b1报错module 'tensorflow.compat.v2' has no attribute 'contrib',尝试用import tensorflow.compat.v1 as tf 代替import tensorflow as tf,但仍有问题 ImportError cannot import name...原创 2020-02-04 11:45:10 · 33185 阅读 · 11 评论 -
Lecture 09 & 10 Bayesian——Hinton课程
Link:Neural Networks for Machine Learning -多伦多大学Link:Hinton的CSC321课程笔记Lecture 09Lecture 10提高泛化能力介绍不同的方法去控制网络的数据表达能力,并介绍当我们使用这样一种方法的时候如何设置元参数,然后给出一个通过提早结束训练来控制网络能力(其实就是防止过拟合)的例子。所以...转载 2019-06-21 01:12:31 · 205 阅读 · 0 评论 -
Lecture 06 Converage——Hinton课程
转载自https://www.cnblogs.com/jesse123/p/7171027.htmlLink:Neural Networks for Machine Learning -多伦多大学Link:Hinton的CSC321课程笔记Ref:神经网络训练中的Tricks之高效BP (反向传播算法)关于梯度下降的东西,涉及的知识很多,有必要单独一章Lectur...转载 2019-06-21 01:03:49 · 1589 阅读 · 0 评论 -
Lecture 07 & 08 RNN---Hinton课程
转载自https://www.cnblogs.com/jesse123/p/7181320.htmlLink:Neural Networks for Machine Learning -多伦多大学Link:Hinton的CSC321课程笔记补充:参见cs231n 2017版本,ppt写得比过去更好。[译] 理解 LSTM 网络:模块内部解析讲得不错。Lecture 0...转载 2019-06-21 00:57:40 · 253 阅读 · 0 评论 -
Lecture 11 & 12 Hopfield Nets and Boltzmann Machine——Hinton课程
转载自https://www.cnblogs.com/jesse123/p/7193308.html注:部分课件源于Hinton的课程 Neural Networks for Machine Learning 之Hopfield Nets 和Boltzmann MachineLecture 11 — Hopfield NetsLecture 12 — Boltzmann machine...转载 2019-06-21 00:51:20 · 406 阅读 · 0 评论 -
Pytorch实现一个用于学习正态分布的GAN网络
2014 年,Ian Goodfellow 和他在蒙特利尔大学的同事发表了一篇震撼学界的论文《Generative Adversarial Nets》,这标志着生成对抗网络(GAN)的诞生,而这是通过对计算图和博弈论的创新性结合。研究显示:给定充分的建模能力,两个博弈模型能够通过简单的反向传播(backpropagation)来协同训练。这两个模型的角色定位十分鲜明。给定真实数据...原创 2019-05-27 20:56:49 · 1249 阅读 · 0 评论 -
解决ValueError: Variable model/wpe already exists,reuse=True or reuse=tf.AUTO_REUSE in VarScope
训练gpt2时出现的问题,报错信息如下图所示:详细信息为:ValueError: Variable model/wpe already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:解决方法:每次训练前...原创 2019-05-27 15:20:43 · 1948 阅读 · 2 评论 -
lecture16 联合模型、分层坐标系、超参数优化及本课未来的探讨——Hinton课程
转载自https://www.cnblogs.com/shouhuxianjian/p/4529166.html这是HInton的第16课,也是最后一课。一、学习一个图像和标题的联合模型在这部分,会介绍一些最近的在学习标题和描述图片的特征向量的联合模型上面的工作。在之前的lecture中,介绍了如何从图像中提取语义有意义的特征。不过那是在没有从标题中得到帮助的情况下做的。显然在标...转载 2019-06-21 01:23:50 · 306 阅读 · 0 评论 -
Lecture 01-05 Basic —— Hinton课程
转载自https://www.cnblogs.com/jesse123/p/7131929.htmlLink:Neural Networks for Machine Learning -多伦多大学Link:Hinton的CSC321课程笔记1Link:Hinton的CSC321课程笔记2一年后再看课程,亦有收获,虽然看似明白,但细细推敲其实能挖掘出很多深刻的内容;以下为在线...转载 2019-06-22 14:59:08 · 379 阅读 · 0 评论 -
概率语言模型3——训练工具汇总
转载自https://www.itread01.com/content/1547467935.html傳統演算法1) BerkeleyLM 是用java寫的,號稱跟KenLM差不多,記憶體比srilm小https://github.com/adampauls/berkeleylm2)MITLM (The MIT Language Modeling toolkit) 引數優化做...转载 2019-07-03 14:16:22 · 679 阅读 · 0 评论 -
BERT模型深度解析
转载自: https://blog.csdn.net/qq_39521554/article/details/83062188github:NLP-BERT--Python3.6-pytorch一、前言 去年谷歌AI团队新发布的BERT模型,在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出...转载 2019-07-26 01:48:27 · 5940 阅读 · 0 评论 -
Bert资源整理
转载自:https://mp.weixin.qq.com/s/q5OyrIycfN4fjQ33uSRmEA整理一下BERT相关的资源,包括Paper, 代码和文章解读。1、Google官方:1)BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding一切始于10月Google祭...转载 2019-07-26 01:51:23 · 793 阅读 · 0 评论 -
解决ModuleNotFoundError: No module named 'numpy.core._multiarray_umath'的方法
问题: 导入tensorflow时报错ModuleNotFoundError: No module named 'numpy.core._multiarray_umath',异常信息如下所示分析: NumPy是使用Python进行科学计算的基础软件包,这里提示numpy.core._multiarray_umath failed to import和numpy.co...原创 2019-10-10 15:15:50 · 39293 阅读 · 3 评论 -
Pytorch常用技巧
转载自https://www.pytorchtutorial.com/pytorch-goodies/ 本文总结了一些网上大家贡献的 PyTorch 编程技巧、常见代码等,包含模型统计数据、参数初始化、参数正则化等常用方法。如果你在 PyTorch 编程中刚好遇到这些问题,希望这篇总结能帮助到你。如果你有好的代码,欢迎在评论区分享给大家哦。文章目录[隐藏]1模型统计数据(...转载 2019-05-24 21:07:02 · 745 阅读 · 0 评论 -
Pytorch实现二分类器
以下我们用 PyTorch 实现一个很简单的二分类器,所用的数据来自 Scikit learn。首先来生成含200个样本的数据,并绘制出样本的散点图如下图所示:import matplotlib.pyplot as pltfrom sklearn.cluster import SpectralClusteringimport sklearn.datasetsX,y = sklea...原创 2019-05-24 20:40:41 · 28364 阅读 · 4 评论 -
pytorch 1.1.0升级
Pytorch 1.1.0Pytorch 1.1.0于2019-05-01发布,详情见https://github.com/pytorch/pytorch/releases/tag/v1.1.0注: 不再支持CUDA8.0概述:官方TensorBoard支持,属性,字典,列表和JIT / TorchScript中用户自定义的类型,改进了分布式Highlights:TensorB...原创 2019-04-09 22:45:41 · 17004 阅读 · 1 评论 -
bert-pytorch安装记录
根据Github https://github.com/codertimo/BERT-pytorch 中的readme执行pip3 install bert-pytorch结果报错:Couldn't find a version that satisfies the requirement torch>=0.4.0返回conda list发现torch的版本是0.3.1低于0.4...原创 2019-01-23 14:06:50 · 7166 阅读 · 0 评论 -
几种梯度下降方法简介(Batch gradient descent、Mini-batch gradient descent 和 stochastic gradient descent)
我们在训练神经网络模型时,最常用的就是梯度下降,这篇博客主要介绍下几种梯度下降的变种(mini-batch gradient descent和stochastic gradient descent),关于Batch gradient descent(批梯度下降,BGD)就不细说了(一次迭代训练所有样本),因为这个大家都很熟悉,通常接触梯队下降后用的都是这个。这里主要介绍Mini-b...转载 2018-05-14 18:07:52 · 1199 阅读 · 0 评论 -
underfit and overfit(欠拟合和过拟合)
欠拟合和过拟合实践中,如果测试数据集是给定的,我们通常用机器学习模型在该测试数据集的误差来反映泛化误差。基于上述重要结论,以下两种拟合问题值得注意:欠拟合:机器学习模型无法得到较低训练误差。过拟合:机器学习模型的训练误差远小于其在测试数据集上的误差。我们要尽可能同时避免欠拟合和过拟合的出现。虽然有很多因素可能导致这两种拟合问题,在这里我们重点讨论两个因素: 模型的选择和训练数据集的大小。fr...原创 2018-04-29 00:29:09 · 1888 阅读 · 0 评论 -
多层感知机——gluon
多层感知机多层感知机与前面介绍的多类逻辑回归非常类似,主要的区别是我们在输入层和输出层之间插入了一个到多个隐含层。定义一个只有一个隐含层的模型,这个隐含层输出256个节点。import syssys.path.append('..')import utilsbatch_size = 256train_data, test_data = utils.load_data_fashion_mni...原创 2018-04-29 00:20:12 · 821 阅读 · 0 评论 -
各种回归的概念回顾
回归问题的条件/前提:1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中,每一个分量,就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数,向量表示形式:这个就是一个组合问题,已...转载 2018-05-07 11:33:57 · 9616 阅读 · 0 评论 -
dropout——gluon
from mxnet import nddef dropout(X, drop_probability): keep_probability = 1 - drop_probability assert 0 <= keep_probability <= 1 # 这种情况下把全部元素都丢弃。 if keep_probability == 0: ...原创 2018-05-02 09:31:34 · 382 阅读 · 0 评论 -
正则化——gluon
from mxnet import ndarray as ndfrom mxnet import autogradfrom mxnet import gluonimport mxnet as mximport randomnum_train = 20num_test = 100num_inputs = 200true_w = nd.ones((num_inputs, 1)) ...原创 2018-05-01 22:04:57 · 305 阅读 · 0 评论 -
线性回归--gluon
线性回归给定一个数据点集合X和对应的目标值y,线性模型的目标就是找到一条使用向量w和位移b描述的线,来尽可能地近似每个样本X[i]和y[i]。用数学符号来表示就是:y^=Xw+by^=Xw+b并最小化所有数据点上的平方误差∑i=1n(y^i−yi)2.我们使用一个数据集来尽量简单地解释清楚,真实的模型是什么样的。具体来说,我们使用如下方法来生成数据;随机数值 X[i],其相应的标注为 y[i]:y...原创 2018-04-11 01:14:52 · 367 阅读 · 0 评论 -
StanfordNLP相关资源列表
Statistical natural language processing and corpus-based computational linguistics: An annotated list of resources Contents Tools: Machine Translation, POS Taggers, NP chunking, Sequence...转载 2019-02-17 00:08:28 · 4221 阅读 · 0 评论 -
Stanfordnlp 安装及使用
简介 StanfordCoreNLP提供了一系列用于自然语言的技术工具。它可以给出不管是公司名还是人名亦或标准化日期、时间和数量等单词的基本形式,词性等。如下图所示它还可以根据短语和句法依存关系标记句子结构,指明哪些名词短语表示相同的实体,指明情感,提取实体及之间的特定或开放类关系,获取名人名言等等。StanfordCoreNLP适用于以下情形:一个具有广泛语法分析工具集成的NLP...原创 2019-02-17 23:46:11 · 21831 阅读 · 18 评论 -
NLTK结合stanfordnlp工具包使用方法总结
简述NLTK 是一款著名的 Python 自然语言处理(Natural Language Processing, NLP)工具包,在其收集的大量公开数据集、模型上提供了全面、易用的接口,涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各项 NL...原创 2019-03-06 01:20:22 · 9554 阅读 · 7 评论 -
bert-embedding 安装及使用入门
安装pip install bert-embedding#如果要使用GPUpip install mxnet-cu92 Note:1. 安装过程中如果遇到WinError 5的权限问题,需要添加--user参数,即pip install --user mxnet-cu922. 若要支持cuda10.0需使用命令 pip install mxnet-cu100安装3. 验证...原创 2019-03-28 22:21:00 · 8690 阅读 · 6 评论 -
词向量 — word2vec
自然语言是一套用来表达含义的复杂系统。在这套系统中,词是表义的基本单元。在机器学习中,如何使用向量表示词?顾名思义,词向量是用来表示词的向量,通常也被认为是词的特征向量。近年来,词向量已逐渐成为自然语言处理的基础知识。为何不采用one-hot向量我们在循环神经网络中介绍过one-hot向量来表示词。假设词典中不同词的数量为NN,每个词可以和从0到N−1N−1的连续整数一一...原创 2019-04-09 22:47:50 · 664 阅读 · 0 评论 -
编码器—解码器和注意力机制
在基于词语的语言模型中,我们使用了循环神经网络。它的输入是一段不定长的序列,输出却是定长的,例如一个词语。然而,很多问题的输出也是不定长的序列。以机器翻译为例,输入是可以是英语的一段话,输出可以是法语的一段话,输入和输出皆不定长,例如英语:They are watching.法语:Ils regardent.当输入输出都是不定长序列时,我们可以使用编码器—解码器(encod...原创 2019-03-19 00:39:04 · 10226 阅读 · 1 评论 -
词向量 — GloVe和fastText
本文介绍两种词向量:它们分别是2014年由Stanford团队发表的GloVe和2017年由Facebook团队发表的fastText。GloVeGloVe使用了词与词之间的共现(co-occurrence)信息。我们定义XX为共现词频矩阵,其中元素xijxij为词jj出现在词ii的环境(context)的次数。这里的“环境”有多种可能的定义。举个例子,在一段文本序列中,如果词jj出...原创 2019-03-19 00:44:48 · 910 阅读 · 0 评论 -
全卷积网络FCN---Gluon
全卷积网络(fully convolutional network,FCN)采用卷积神经网络实现了从图像像素到像素类别的变换 。与之前介绍的卷积神经网络有所不同,全卷积网络通过转置卷积(transposed convolution)层将中间层特征图的高和宽变换回输入图像的尺寸,从而令预测结果与输入图像在空间维(高和宽)上一一对应:给定空间维上的位置,通道维的输出即该位置对应像素的类别...原创 2019-03-20 18:13:56 · 989 阅读 · 4 评论 -
Speech and Natural Language Processing相关资源列表
Refer tohttps://github.com/edobashira/speech-language-processingA curated list of speech and natural language processing resources. Other lists can be found in thislist. If you want to contribute ...转载 2019-03-04 20:55:40 · 741 阅读 · 0 评论 -
windows7 安装pytorch 和 mxnet
1. MXNet可使用参数 —pre 安装nightly版本: pip install —pre mxnet 安装完后在python编辑器中输入import mxnet, 如无异常则mxnet安装成功。2. 由于pytorch在windows下支持conda安装,需先安装Anaconda,选官网最新版本即可(目前是5.1) 下载路径:https://www.anaconda.co...原创 2018-04-03 16:41:37 · 434 阅读 · 0 评论