机器学习
文章平均质量分 66
士416
爱学习,爱分享
展开
-
NLP_task5: 神经网络基本概念、激活函数、防止过拟合的方法、参数优化
1 神经网络相关的基本概念前馈神经网络:是一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层,各层间没有反馈。网络层数、输入层、隐藏层、输出层、隐藏单元:下面以图为例,介绍这些名词的含义网络层数:一般是指设置或者搭建的模型有多少层。以上图为例,网络层为3。输入层:一般指数据输入模型的一层,如图。输出层:一般指模型的最后...原创 2019-03-11 22:09:35 · 2816 阅读 · 0 评论 -
NLP_task8:循环神经网络
1 RNN结构 RNN,循环神经网络。首先看一个简单的循环神经网络,由输入层、一个隐藏层和一个输出层组成:其中,U是输入层到隐藏层的权重矩阵,o是输出层的值,V是隐藏层到输出层的权重矩阵,权重矩阵W是隐藏层上一次的值作为下一次输入的权重。一般的循环神经网络如下图:在这个网络中,时刻t接收到输入之后,隐藏层的值是,输出值是。从网络中可以看出,不仅取决于,还取决于。我们可以用...原创 2019-03-16 21:32:32 · 574 阅读 · 0 评论 -
NLP学习__task3: : 特征提取:TF-IDF、词向量表示、互信息原理、特征筛选
1 TF-IDF原理TF-IDF原理在另一篇博客:关键词抽取模型 已经提及,这里不在重复。2 文本矩阵化笔者理解的文本矩阵化,即将文本进行“词向量化”。这里简述常见的语言表示模型(词嵌入、句表示、篇章表示)。词向量类型:1)一个词一列向量的表示方法有Hash算法和word2vec。hash算法将词打散成(01010101)的数值,word2vec则同时打散定义成了向量。wor...原创 2019-03-07 11:04:58 · 4917 阅读 · 0 评论 -
NLP_task6: 简单神经网络(word2vec\FastText)
1 文本表示:从one-hot到word2vec word2Vec也称word embeddings,是一个可以语言中字词转化为向量形式表达(Vector Representations)的模型。 在Word2Vec出现之前,通常将字词转化成离散的单独的符号,比如将“中国”编号为5178的特征,将北京编号为3987的特征,这即是One-Hot Encoder。一个词...原创 2019-03-13 21:42:34 · 936 阅读 · 0 评论 -
NLP学习__task2:特征提取:基本文本处理、语言模型
1. 基本文本处理技能——中文分词1.1 分词的概念 中文分词,即Chinese Word Segmentation,即将一个汉字序列进行切分,得到一个个单独的词。根据中文的特点,可以将分词算法分为四大类:1)基于规则的分词方法;2)基于统计的分词方法;3)基于语义的分词方法;4)基于理解的分词方法。下面对这几种方法分别进行总结:1)基于规则的分词方法 又称为机...原创 2019-03-05 17:06:33 · 847 阅读 · 1 评论 -
NLP_task7:卷积神经网络
1 卷积神经网络原理 卷积神经网络(Convolutional Neural Networks,CNN),是由Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性,继而提出了卷积神经网络。 一般地,CNN的基本结构包括两层,一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征;一旦该...原创 2019-03-15 21:00:00 · 1543 阅读 · 0 评论 -
NLP学习__task1:数据探索:IMDB数据集探索、CNN处理文本、召回率、准确率、ROC曲线、AUC、PR曲线概念学习
1 IMDB数据集探索见链接:IMDB数据集探索2 THUCNews数据集探索2.1 参考博客学习参考博客链接:CNN字符级中文分类-基于Tensorflow实现rnn_cnn.py运行结果:rnn_rnn.py运行结果:代码还在运行中。。。学习感受:首先是根据训练数据建立词典,生成字词对应数字的词典;然后是将文本转化为数据,对每一个训练样本数据进行...原创 2019-03-03 20:31:27 · 1084 阅读 · 0 评论 -
NLP_task9: Attention
1 Attention基本原理 在“Neural Machine Translation By Jointly Learning To Align And Translate”中,为解决RNN-Encoder-Decoder的基础上target端输入固定长度的问题,提出了Align方式,这也是Attention的开始。这篇paper中,它将输入句子编码成一系列向量,并在解码翻译时自...原创 2019-03-18 12:14:10 · 379 阅读 · 0 评论 -
NLP学习__task4:传统机器学习:朴素贝叶斯、SVM、PLSA、LDA
1、朴素贝叶斯的原理 在所有机器学习分类算法中,朴素贝叶斯和其他绝大多数分类算法不同。不同于:例如决策树、KNN、逻辑回归、支持向量机等,这些都是判别方法,即直接学习出特征输出Y和特征X之间的关系,也是决策数;而朴素贝叶斯是生成方法,即直接找出特征输出Y和特征X的联合分布,然后用得出。1)朴素贝叶斯的定理 首先,明确贝叶斯统计方式与统计学中的频率概念不同:从频...原创 2019-03-09 17:55:32 · 2098 阅读 · 1 评论 -
关键词抽取模型
关键词抽取模型常见的算法有TF-IDF、TextRank等,本文仅在这里对这两种方法作原理的简单介绍。1 TF-IDF算法 TF-IDF(term frequency-inverse document frequency) :一种用于资讯检索于资讯探勘的常用加权技术。是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随...原创 2019-03-04 17:10:21 · 6321 阅读 · 1 评论 -
常用数据集Datasets-Keras数据的导入
写在前面,笔者最近在学习tensorflow(附一个tensorflow中文官方链接https://www.tensorflow.org/tutorials/keras/basic_classification)。遇到了一些问题,下面内容为解决方法。仅适合如笔者一般的小白~~问题:已有数据的导入笔者根据文档中的提供的模块下载数据失败,于是选择其他方式下载了数据到指定的文件。如图,仅...原创 2019-01-07 21:13:38 · 13404 阅读 · 0 评论 -
tensorboard可视化操作
1、tensorboard可视化一般操作Tensorflow的可视化工具Tensorboard的初步使用 这篇博客包含了Tensorboard的数据形式、Tensorboard的可视化过程、Tensorboard使用案例(具体包括如何代码中如何将各种参数写入文件、之后调用tensorboard的方法)。2、tensorboard可视化过程遇见的问题1)No dashboards are...原创 2019-05-05 20:04:49 · 552 阅读 · 0 评论 -
tensorflow踩坑(多分类写Loss,batch_size设置,tf.reduce降维)
1 tensorflow关于多分类写loss1.1 二分类见代码import numpy as npimport tensorflow as tflabels=np.array([[1.,0.],[0.,1.],[0.,1.]])logits=np.array([[0,-2.],[-10.,0.],[-2.,0]])y_pred=tf.sigmoid(logits)yy ...原创 2019-04-09 13:58:45 · 4890 阅读 · 0 评论 -
神经网络之BP算法(图说神经网络+BP算法理论推导+例子运用+代码)
原文写于2018年5月。修改于2019年11月17。最近在学习《Deep Learning》这本书,书中在前馈神经网络、全连接神经网络以及卷积神经网络等内容中,都有提到反向传播算法,这一算法可以说是神经网络中求解参数比较核心的部分了。为了更好地理解神经网络工作的原理,认识反向传播在神经网络中的运算机制,在综合《Deep Learning》书中的有关部分并且学习了b站讲解神经网络的相关视频及一...原创 2019-11-17 22:01:15 · 100159 阅读 · 56 评论 -
scikit-learn的基本用法——模型保存与加载
1 模型保存见demo:import picklefrom sklearn.svm import SVCfrom sklearn import datasets # 定义分类器svm = SVC()# 加载iris数据集iris = datasets.load_iris()# 读取特征X = iris.data# 读取分类标签y = iris.target# 训练...原创 2019-05-14 12:34:12 · 3045 阅读 · 2 评论 -
AdaBoost算法
1、AdaBoost算法1)Boosting提升算法Boosting算法是将“弱学习算法”提升为“强学习算法”。其主要涉及两个部分,加法模型和前向分步算法。加法模型就是说强分类器由弱分类器线性相加而成。一般组合形式如下: 其中,就是一个个的弱分...原创 2019-03-01 15:56:48 · 884 阅读 · 0 评论 -
Matplotlib注解(主要解决《机器学习实战》第三章绘树图部分问题,运行环境:python3)
笔者最近在学习《机器学习实战》,对这本书的表示由衷的喜爱,原因如下:1.系统讲解机器学习方法,2.将机器学习中的方法讲得简单易懂,3.一步一步教会了笔者如何构建这些方法的程序。对此,笔者再次表示对本书的喜爱和其作者及其译者的感谢。当然,笔者在学习这本书并非一帆风顺,这不,卡在了第三章决策树的绘图部分好些天,趁周末,赶紧做一做。修改了一些地方,方将代码跑通,下面给出代码(运行环境python...原创 2018-06-09 22:53:37 · 488 阅读 · 1 评论 -
线性回归模型
线性回归模型是一种比较简单的、容易解释的回归预测方法。在实际应用中,可以用线性回归模型简单判断特征与目标值之间是否存在某种线性相关的关系。若存在,可以用多个线性模型去表示回归值;若不存在,即可以考虑特征与回归值之间的非线性关系(非线性关系可以考虑SVM的核函数映射方式或者神经网络中使用激活函数的方式等,将特征映射到更高维的空间或者表示出非线性的表达式,进行拟合出特征与回归值之间的一种表达形式。这里...原创 2019-10-07 11:01:24 · 3103 阅读 · 0 评论 -
感知机
《统计学习方法》此书中,将感知机模型讲解十分清楚,并且推导了损失函数设计原理、随机梯度下降方法求解参数、详细解释了对偶问题求解方法及模型的收敛性。笔者再次学习该模型后,将自己的理解融入本文中,从感知机模型、损失函数设定、计算策略、算法流程这4个部分做回顾。感知机(perceptron)模型:二分类模型、线性分类模型、判别模型。损失函数:误分类实例到超平面的距离之和。计算策略:随机梯度下...原创 2019-10-08 09:58:24 · 359 阅读 · 0 评论 -
决策树——ID3\C4.5\CART算法原理及区别
决策树(decision tree)是一种基本的分类与回归方法。笔者在学习了《统计学习方法》之后,从决策树实现分类和回归所需的原理出发,进行总结。下面将介绍ID3算法、C4.5、CART算法的计算过程及区别。决策树理论知识的学习和掌握,是对以决策树为基础模型的集成方法Random Forest、GBDT、XGBoost、lightgbm及Catboost的基础必备。因此,笔者在复习决策树章节过程中...原创 2019-10-10 13:48:20 · 1225 阅读 · 0 评论