机器学习
文章平均质量分 61
To_be_brave1
这个作者很懒,什么都没留下…
展开
-
神经网络结构在命名实体识别(NER)中的应用
近年来,基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别(Named Entity Recognition,NER)也不例外,神经网络结构在NER中也取得了不错的效果。最近,我也阅读学习了一系列使用神经网络结构进行NER的相关论文,在此进行一下总结,和大家一起分享学习。1 引言 命名实体识别(Named Entity...转载 2018-08-17 15:05:55 · 1322 阅读 · 0 评论 -
序列标注-命名实体识别
三个月之前 NLP 课程结课,我们做的是命名实体识别的实验。在MSRA的简体中文NER语料(我是从这里下载的,非官方出品,可能不是SIGHAN 2006 Bakeoff-3评测所使用的原版语料)上训练NER模型,识别人名、地名和组织机构名。尝试了两种模型:一种是手工定义特征模板后再用CRF++开源包训练CRF模型;另一种是最近两年学术界比较流行的 BiLSTM-CRF 模型。 ...转载 2018-08-17 15:08:58 · 10628 阅读 · 4 评论 -
转载——数据挖掘&机器学习
一、数据挖掘&机器学习 什么是社区发现?Factorization Machines 学习笔记(四)学习算法Factorization Machines 学习笔记(三)回归和分类Factorization Machines 学习笔记(二)模型方程Factorization Machines 学习笔记(一)预测任务发表在 Science 上的一种新聚类算法一种并行随...转载 2018-08-23 13:50:22 · 157 阅读 · 0 评论 -
主题模型LDA
一、LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少,如TF-IDF等,这种方法没有考虑到文字背后的语义关联,可能在两个文档共同出现的单词很少甚至没有,但两个文档是相似的。 举个例子,有两个句子分别如下: “乔布斯离我们而去了。” “苹果价格会不会降?” ...原创 2018-09-04 12:59:01 · 236 阅读 · 0 评论 -
【长文详解】卷积神经网络常见架构AlexNet、ZFNet、VGGNet、GoogleNet和ResNet模型的理论与实践
目前的常见的卷积网络结构有AlexNet、ZF Net、VGGNet、Inception、ResNet等等,接下来我们对这些架构一一详解。 LeNet-5LeNet-5模型诞生于1998年,是Yann LeCun教授在论文Gradient-based learning applied to document recognition中提出的,它是第一个成功应用于数字识别问题的卷积神经网络...转载 2018-09-02 22:35:00 · 6146 阅读 · 0 评论 -
ResNet残差网络
目录 深层次网络训练瓶颈:梯度消失,网络退化 ResNet简介 ResNet解决深度网络瓶颈的魔力 ResNet使用的小技巧 总结 深层次网络训练瓶颈:梯度消失,网络退化 深度卷积网络自然的整合了低中高不同层次的特征,特征的层次可以靠加深网络的层次来丰富。从而,在构建卷积网络时,网络的深度越高,可抽取的特征层次就越丰富。所以一般...转载 2018-09-02 22:36:19 · 807 阅读 · 0 评论 -
迁移学习 (Transfer Learning)
什么是/为什么要迁移学习?迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的,所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习(starting from scratch,tabula ...转载 2018-09-02 22:39:05 · 9856 阅读 · 0 评论 -
SVM的两个参数 C 和 gamma
https://blog.csdn.net/lujiandong1/article/details/46386201SVM模型有两个非常重要的参数C与gamma。其中 C是惩罚系数,即对误差的宽容度。c越高,说明越不能容忍出现误差,容易过拟合。C越小,容易欠拟合。C过大或过小,泛化能力变差 gamma是选择RBF函数作为kernel后,该函数自带的一个参数。隐含地...转载 2018-09-06 12:11:33 · 24168 阅读 · 0 评论 -
xgboost调参
了解偏差-方差权衡(Bias-Variance Tradeoff)在机器学习df或统计课程中,偏差方差权衡可能是最重要的概念之一。当我们允许模型变得更加复杂(例如,更大的深度)时,模型具有更好的适应训练数据的能力,从而使模型偏差较小。然而,这种复杂的模型需要更多的数据来做训练。xgboost中的大多数参数是关于偏差方差权衡的。最好的模型应该在模型的复杂性及模型的预测能力上做细致的权衡(注:...转载 2018-09-06 12:39:39 · 728 阅读 · 0 评论 -
处理数据不平衡
这几年来,机器学习和数据挖掘非常火热,它们逐渐为世界带来实际价值。与此同时,越来越多的机器学习算法从学术界走向工业界,而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的,但绝对是最重要的问题之一。一、数据不平衡在学术研究与教学中,很多算法都有一个基本假设,那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时,大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不均匀,都...转载 2018-09-06 12:44:57 · 18462 阅读 · 3 评论 -
机器学习分类器模型评价指标
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/login_sonata/article/details/54288653分类器评价指标主要有:1,Accuracy2,Precision 3,Recall 4,F1 score 5,ROC 曲线6,AUC7,PR 曲线混淆矩阵混淆矩阵是监督学习中的一种可视化工具,主要用于比...转载 2018-09-06 12:46:12 · 323 阅读 · 0 评论 -
xgboost相比传统gbdt有何不同?
作者:wepon链接:https://www.zhihu.com/question/41354392/answer/98658997来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 xgboost相比传统gbdt有何不同?xgboost为什么快?xgboost如何支持并行? 看了陈天奇大神的文章和slides,略抒己见,没有面面俱到,不恰当的地方欢...转载 2018-09-13 10:55:57 · 350 阅读 · 0 评论 -
深度学习之路
偶然在github上看到Awesome Deep Learning项目,故分享一下。其中涉及深度学习的免费在线书籍、课程、视频及讲义、论文、教程、网站、数据集、框架和其他资源,包罗万象,非常值得学习。其中研究人员部分篇幅所限本文未整理进来。另外上面的GIF录制于MIT自动驾驶课程(MIT 6.S094: Deep Learning for Self-Driving Cars)PS:gith...转载 2018-10-08 19:05:27 · 719 阅读 · 0 评论 -
数据挖掘十大算法
本文主要分析皆来自其他资料,借用较为权威的总结来对我已经学习的这些经典算法做一个极为精简的概述(根据自身经验有一定修改),另外同时附上机器学习实战中作者对各种算法的评价。另外机器学习实战这本书是本人看了这么多书籍或者资料中唯一一本坚持从头看到尾,看完了的书籍,包括其中的代码皆实践运行过,收获颇多,个人认为虽然这本书时间上已经算是老资料了,但其中作者的各种总结和代码的演练都由浅入深(前提还是要有一点...转载 2019-03-09 14:31:47 · 423 阅读 · 0 评论 -
机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率
在分类任务中,人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上,这样的度量错误掩盖了样例如何被分错的事实。在机器学习中,有一个普遍适用的称为混淆矩阵(confusion matrix)的工具,它可以帮助人们更好地了解分类中的错误。比如有这样一个在房子周围可能发现的动物类型的预测,这个预测的三类问题的混淆矩阵如下表所示:一个三类问题的混...转载 2018-08-14 12:31:55 · 538 阅读 · 0 评论 -
xgboost
https://blog.csdn.net/qunnie_yi/article/details/80129857在 Kaggle 的很多比赛中,我们可以看到很多 winner 喜欢用 xgboost,而且获得非常好的表现,今天就来看看 xgboost 到底是什么以及如何应用。本文结构:什么是 xgboost? 为什么要用它? 怎么应用? 学习资源什么是 xgboost?XG...转载 2018-07-30 13:58:52 · 255 阅读 · 0 评论 -
过拟合
原文地址:一只鸟的天空,http://blog.csdn.net/heyongluoyao8/article/details/49429629防止过拟合的处理方法过拟合 我们都知道,在进行数据挖掘或者机器学习模型建立的时候,因为在统计学习中,假设数据满足独立同分布(i.i.d,independently and identically distributed),即当前已产生的数据可以...转载 2018-07-30 13:49:35 · 330 阅读 · 0 评论 -
准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure
https://www.cnblogs.com/sddai/p/5696870.html准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measureyu Code 15 Comments 机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的 工作,而其评价指标往往有如下几点:准确率(Accuracy...转载 2018-06-04 10:43:50 · 123416 阅读 · 3 评论 -
基于主题策略的实体识别准确率优化
传统的命名实体识别中,主要是基于规则和词典的方法,在实体识别过程中没有给出具体的语义信息,因此会存在一词多义和多词一义的问题,对实体的消歧就是提升实体识别准确率的关键部分。主题模型是对文档隐含的主题进行建模的方法,是语义挖掘的利器,既可以衡量文档之间的语义相似性,还可以解决多义词的问题。在主题模型中,主题是一个概念,表现为一系列相关的词,通过命名实体在不同主题下的条件概率分布来达到实体...原创 2018-06-04 10:46:05 · 1506 阅读 · 1 评论 -
Gensim入门教程
https://www.cnblogs.com/iloveai/p/gensim_tutorial.htmlWhat is Gensim?Gensim是一款开源的第三方Python工具包,用于从原始的非结构化的文本中,无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF,LSA,LDA,和word2vec在内的多种主题模型算法,支持流式训练,并提供了诸如相似度计算,信息检索等一些常用任务的...转载 2018-06-04 12:07:51 · 840 阅读 · 0 评论 -
LDA 以及 Gensim 实现
http://www.shuang0420.com/2016/05/18/Gensim-and-LDA-Training-and-Prediction/import warningswarnings.filterwarnings(action='ignore', category=UserWarning, module='gensim')import sys,ossys.path.appe...原创 2018-06-05 18:23:34 · 3425 阅读 · 1 评论 -
自己动手写word2vec (一):主要概念和流程
转https://blog.csdn.net/u014595019/article/details/51884529word2vec 是 Google 于 2013 年开源推出的一个用于获取词向量(word vector)的工具包,它简单、高效,因此引起了很多人的关注。我在看了@peghoty所写的《word2vec中的数学以后》(个人觉得这是很好的资料,各方面知识很全面,不像网上大部分有残缺),...转载 2018-06-15 17:56:25 · 2092 阅读 · 0 评论 -
卡内基梅隆大学使用主题模型,提出了基于知识型的词义消歧方法
原文来源:arxiv作者:Devendra Singh Chaplot、Ruslan Salakhutdinov「雷克世界」编译:嗯~阿童木呀、KABUDA相信大家都知道,在自然语言处理中存在这样一个尚待解决的问题:词义消歧(Word Sense Disambiguation),尤其在无监督环境中具有很大的挑战性和有用性。其中,对于任何给定文本中的所有单词都需要在不使用任何标记数据的情况下对其进行...转载 2018-06-01 16:27:52 · 858 阅读 · 0 评论 -
腾讯社交广告高校算法大赛——总结
转https://blog.csdn.net/ben3ben/article/details/74838338腾讯社交广告高校算法大赛——总结题目描述http://algo.tpai.qq.com/home/home/index.html成绩决赛第7名赛题分析 比赛中,我们比较关心的一个问题在于:数据线上线下分布不一致:1、某些app和用户的记录比较少;2、数据的时效性要求较高。这对于特征工程会...转载 2018-07-03 20:14:28 · 2000 阅读 · 0 评论 -
命名实体识别(NER)
命名实体识别(NER)是在自然语言处理中的一个经典问题,其应用也极为广泛。比如从一句话中识别出人名、地名,从电商的搜索中识别出产品的名字,识别药物名称等等。传统的公认比较好的处理算法是条件随机场(CRF),它是一种判别式概率模型,是随机场的一种,常用于标注或分析序列资料,如自然语言文字或是生物序列。简单是说在NER中应用是,给定一系列的特征去预测每个词的标签。如下图:X我们可以看做成一句话的每个单...转载 2018-07-05 11:47:32 · 7000 阅读 · 0 评论 -
逻辑回归解决多分类和softmax
我们已经知道,普通的logistic回归只能针对二分类(Binary Classification)问题,要想实现多个类别的分类,我们必须要改进logistic回归,让其适应多分类问题。关于这种改进,有两种方式可以做到。第一种方式是直接根据每个类别,都建立一个二分类器,带有这个类别的样本标记为1,带有其他类别的样本标记为0。假如我们有个类别,最后我们就得到了个针对不同标记的普通的logis...转载 2018-07-25 10:37:34 · 11503 阅读 · 2 评论 -
SVM中的核函数
1 核函数本质核函数的本质可以概括为如下三点:1)实际应用中,常常遇到线性不可分的情况。针对这种情况,常用做法是把样例特征映射到高维空间中,转化为线性可分问题。2)将样例特征映射到高维空间,可能会遇到维度过高的问题。3)针对可能的维灾难,可以利用核函数。核函数也是将特征从低维到高维的转换,但避免了直接进行高维空间中的复杂计算,可以在低维上进行计算,却能在实质上将分类效果表现...转载 2018-07-25 14:59:35 · 3911 阅读 · 0 评论 -
Spark LDA 主题抽取
转https://blog.csdn.net/poised/article/details/50382107本文主要对使用Spark MLlib LDA进行主题抽取时遇到的工程问题做一总结,列出其中的一些小坑,或可供读者借鉴。关于LDA的具体理论等可以自行google。主题预测请参考:Spark LDA 主题预测开发环境:spark-1.5.2,hadoop-2.6.0,spark-1.5.2要求...转载 2018-07-15 12:17:56 · 557 阅读 · 0 评论 -
PCA
一,引言 降维是对数据高维度特征的一种预处理方法。降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的。在实际的生产和应用中,降维在一定的信息损失范围内,可以为我们节省大量的时间和成本。降维也成为了应用非常广泛的数据预处理方法。 降维具有如下一些优点:(1)使得数据集更易使用(2)降低算法的计算开销(3)去除噪声(4)使得结...转载 2018-07-26 12:34:18 · 1641 阅读 · 0 评论 -
python机器学习基础教程--1引言
机器学习(machine learning)是从数据中提取知识。它是统计学、人工智能和计算机科学交叉的研究领域,也被称为预测分析(predictive analytics)或统计学习(statisticallearning)。1.1 为何选择机器学习 在“智能”应用的早期,许多系统使用人为制订的“if”和“else”决策规则来处理数据,或根据用户输入的内容进行调整。...原创 2019-07-29 11:02:17 · 206 阅读 · 0 评论