机器学习
文章平均质量分 95
momaojia
NLP菜鸡
展开
-
tensorflow实现给bert-crf不同层设置不同的学习率
前段时间看了苏神的文章,关于CRF层可能存在学习不充分问题,文章地址:https://kexue.fm/archives/7196,简而言之就是bert拟合能力太强,可以迅速的学习出字的标签分布,但是CRF部分和BERT没什么关系,前面的字标签已经学习的很好了,导致转移的矩阵的梯度会非常小。想到本人前段时间正好做的实体识别任务,有时候会存在标签乱序的现象,故把以前的代码CRF层中加入不同的...原创 2020-03-22 18:24:47 · 2590 阅读 · 1 评论 -
Ubuntu16.04安装 tensorflow-gpu CUDA9.0+cudnn 7.0
本篇适合第一次安装tensorflow-gpu的人,折腾了好久,一开始装了CUDA 10.1,发现tensorflow 1.13版本调用不起来GPU,后来看了官方的说明,CUDA10.1好像要2.0以上的tensorflow,所以放弃了CUDA10.1,装起了CUDA 9.0,以下为安装步骤一、安装nvidia驱动首先在终端 输入nvidia-smi 如果有以下显示,说明驱动正常...原创 2020-02-22 10:31:09 · 436 阅读 · 2 评论 -
java 调用训练好的keras模型,tensorflow Pb模型
这篇文章主要给初次想使用java 调用keras或者使用tensorflow训练好的模型,下面将详细介绍环境安装以及调用步骤。假设你忘记了如何配置java环境,可以从第一部分看起,否则直接转入第二部分。一、首先配置java环境1、下载JDK1.8版本,并且安装2、配置环境变量,本人安装路径为默认路径C:\ProgramFiles\Java\jdk1.8.0_1313、在path里输入%HOME_J...原创 2018-05-01 18:27:08 · 14539 阅读 · 4 评论 -
Python实现朴素贝叶斯(NB)
这篇文章主要关于朴素贝叶斯算法的用python具体实现,网上关于NB算法的文章很多,大多围绕着《机器学习实战》这本书来着。在此,对于NB算法的原理我大概介绍一下。贝叶斯定理: 已知某条件概率,如何得到两个条件交换后的概率。即:已知 求假设 A,B独立 P(A,B)=P(A)*P(B) 朴素贝叶斯原理:对于给定的待分类像项,求解在此基础上每个类别出现的概率,原创 2017-07-19 15:57:06 · 2100 阅读 · 2 评论 -
KNN(k-近邻)分类算法讲解与实现(python)
KNN算法相对于其他算法是一种特别好实现且易于理解的分类算法,主要根据不同特征之间的距离来进行分类。一般的分类算法首先要训练一个模型,然后用测试集检验模型,但是KNN算法不用训练模型,直接采用待测样本与训练样本的距离来实现分类。 KNN基本原理:根据距离函数计算待分类样本X和每个训练样本的距离,选择与待分类样本距离最小的K歌样本作为X的K个最近邻,最后以X的K个最近邻中的大多数所属类原创 2017-07-10 10:25:51 · 2297 阅读 · 0 评论 -
神经网络及反向传播(bp)算法详解
神经元和感知器的本质一样神经元和感知器本质上是一样的,只不过感知器的时候,它的激活函数是阶跃函数;而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数。如下图所示: 输入节点 每一个输入节点对应一个权值,输入节点可以是任意数。权重 W1,W2...Wn偏置项 b激活函数 激活函数在神经网络中尤为重要,通过激活函数加入非线性原创 2017-07-30 17:46:33 · 17635 阅读 · 0 评论 -
python实现决策树分类(三)
在上一篇文章中,我们已经构建了决策树,接下来可以使用它用于实际的数据分类。在执行数据分类时,需要决策时以及标签向量。程序比较测试数据和决策树上的数值,递归执行直到进入叶子节点。这篇文章主要使用决策树分类器就行分类,数据集采用UCI数据库中的红酒,白酒数据,主要特征包括12个,主要有非挥发性酸,挥发性酸度, 柠檬酸, 残糖含量,氯化物, 游离二氧化硫, 总二氧化硫,密度, p原创 2017-06-28 11:43:39 · 4821 阅读 · 0 评论 -
感知器实现(python)
上篇博客转载了关于感知器的用法,遂这篇做个大概总结,并实现一个简单的感知器,也为了加深自己的理解。 感知器是最简单的神经网络,只有一层。感知器是模拟生物神经元行为的机器。感知器的模型如下: 给定一个n维的输入 ,其中w和b是参数,w为权重,每一个输入对应一个权值,b为偏置项,需要从数据中训练得到。激活函数 感知器的激活函数可以有很多选择,比如我们可以选择下原创 2017-07-14 18:47:19 · 7037 阅读 · 0 评论 -
python实现决策树分类(二)
上一篇博客主要介绍了决策树的原理,这篇主要介绍他的实现,代码环境python 3.4,实现的是ID3算法,首先为了后面matplotlib的绘图方便,我把原来的中文数据集变成了英文原始数据集:变化后的数据集在程序代码中体现,这就不截图了构建决策树的代码如下:#coding :utf-8'''2017.6.25 author :Erin functi原创 2017-06-26 21:10:53 · 6351 阅读 · 1 评论 -
人工神经网络之感知器算法
人工神经网络之感知器算法2017-01-07 23:57 101人阅读 评论(0)收藏举报分类: 算法(6) 作者同类文章X感知器作为人工神经网络中最基本的单元,有多个输入和一个输出组成。虽然我们的目的是学习很多神经单元互连的网络,但是我们还是需要先对单个的神经单元进行研究。感知器算法的主要转载 2017-07-14 10:41:02 · 4312 阅读 · 0 评论 -
python实现决策树分类(一)
决策树是一种常见的分类算法, 每一个叶子节点对应一个分类,非叶子节点对应某个属性的划分。决策树主要有3个部分组成,分别为决策节点,分支和叶子节点。其中决策树最顶端的节点为根决策点,每一个分支都有一个新决策点。决策节点下面是叶子节点。决策的过程从根决策点开始,从上到下。构造决策树的过程是如何选择合适的属性对样本做拆分。接下来我会主要介绍ID3算法。ID3的核心思想:选择信息增益最大的属性进行原创 2017-06-23 14:38:44 · 4222 阅读 · 1 评论 -
python 文本情感分类
对于一个简单的文本情感分类来说,其实就是一个二分类,这篇博客主要讲述的是使用scikit-learn来做文本情感分类。分类主要分为两步:1)训练,主要根据训练集来学习分类模型的规则。2)分类,先用已知的测试集评估分类的准确率等,如果效果还可以,那么该模型对无标注的待测样本进行预测。 首先先介绍下我样本集,样本是已经分好词的酒店评论,第一列为标签,第二列为评论,前半部分为积极评论,后半部原创 2017-06-21 19:54:50 · 6901 阅读 · 8 评论 -
python 数据预处理(采用拉格朗日插值法处理缺失值)
在数据挖掘中,数据往往会存在不完整的情况,本文主要采用拉格朗日插值法处理缺失值。拉格朗日插值法定义:对于某个多项式函数,已知有给定的K+1个取值点:其中x对应自变量的位置,y对应这函数在这个位置(每一个y值都不等于0)的取值。解设任意两个不同的Xj都互不相同,对应的拉格朗日插值所得到的拉格朗日插值多项式为:下面采用拉格朗日插值对缺失值进行插补,数据的形式原创 2017-06-21 15:30:33 · 21010 阅读 · 7 评论