基于spark实现的CRF模型的使用与源码分析

最新推荐文章于 2024-02-22 16:49:32 发布
最新推荐文章于 2024-02-22 16:49:32 发布
阅读量3.7k 收藏 1
点赞数 1
分类专栏： Spark 自然语言处理 文章标签： 机器学习 spark 预测 源码 scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lihaitao000/article/details/51581756
版权
本文详细介绍了基于Spark实现的CRF模型，利用Spark的LBFGS算法提高训练速度。源码采用Scala编写，包含CRF.scala、CRFModel.scala和CRFWithLBFGS.scala等关键文件。训练数据可从hdfs读取，以词、特征、结果格式存储，用户可自定义模板。模型训练后，可保存以便后续预测，测试数据同样可并行处理，实现在5节点集群上4分钟内完成10W条训练数据，达到约97%准确率。
摘要由CSDN通过智能技术生成

CRF基于spark实现的过程与源码分析


Crf-spark实现时基于spark的LBFGS算法实现，由于在spark的mllib库中实现了LBFGS算法，因此在使用crf训练时调用该算法在spark平台上将会使迭代更加快速。缩短训练时间。

源码地址：https://github.com/lihait/CRF-Spark

源码是scala语言写的，将源码下载后使用sbt工具打包成jar文件在项目中导入即可使用crf-spark中方法。

src目录下有main和test两个文件夹，其中test中是作者用来测试的代码。

Main目录下是主要的实现scala代码，有七个文件:


最重要的是CRF.scala 、CRFModel.scala、CRFWithLBFGS.scala

CRF.scala：CRF.scala中有用来训练模型的train函数，默认的输入参数是：freq= 1, regParam = 0.5, maxIterations = 1000, tolerance = 1E-3, regularization =L2。

在使用时可对这几个参数进行设置。

CRFModel.scala: CRFModel.s

最低0.47元/天 解锁文章
海涛anywn
关注
专栏目录
2024 AI 人工智能完整学习路线表
AI天才研究院
09-14 2020
本阶段讲解，人工智能的应用，人工智能的工作流程、基本概念，人工智能的任务和本质，KNN最近邻算法。本阶段讲解，python基础语法，Numpy科学计算模块，Pandas数据分析模块，Matplotlib和Seaborn数据可视化模块。本阶段讲解，微积分基础，线性代数基础，多元函数微分学，线性代数高级，概率论，最优化。本阶段讲解，多元线性回归，梯度下降法，归一化，正则化，Lasso回归，Ridge回归，多项式回归。
机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总
ZhangPY的专栏
02-28 6766
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最
CRF源码
u012606924的博客
12-02 386
获取模型的张量所有名称 Tensorflow 中 crf_decode 和 viterbi_decode 的使用（实际举例计算，程序实现）
CRF原理和代码实现
weixin_42961017的博客
05-14 1455
CRF原理和代码实现说明
【Natural Language Processing】基于CRF++的中文分词
Lawe的博客
07-11 853
一、任务简介         中文分词是中文信息处理领域中的最重要的任务，它对于智能信息处理技术具有重要的意义,当前的各种汉语分词技术都可以取得不错的结果。 本任务做的是繁体中文分词，将训练语料的30%作为验证集，70%作为训练集，按通常的 P/R/F 三个指标进行评测，最后用全部训练数据进行训练，用给出的测试数据进行测试，并将结果提交。本次任务使用条件随机场模型（CRF）进行实验。 2 
条件随机场(CRF)的Java源代码实现（最新版本）
03-23
有详细的算法描述，适合条件随机场的编程爱好者使用，很好的参考作用
2019年计算机类毕业设计论文题目推荐
javaweb课程设计源码大全
11-16 5808
又到了一年了毕业时间, 收集了一些985/211高校的计算机类论文题目, 希望对大家有所帮助 深度嵌入聚类算法研究 基于机器视觉的行人重识别算法的分析与实现 基于动力学模型的属性网络重叠社团发现 基于Spring-Boot框架的一体化运维监控应用的研究与实现 Android系统中基于手写密码与笔迹信息的综合认证技术研究 公交线路准点预测方法研究 基于深度学习的医学图像分割算法研究 ...
机器学习与深度学习资料
Jason Ding的专栏
04-23 4450
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本《神经网络与深
crf的实现 keras_CRF keras代码实现
weixin_39864489的博客
12-18 300
#-*- coding:utf-8 -*-from keras.layers importLayerimportkeras.backend as KclassCRF(Layer):"""纯Keras实现CRF层CRF层本质上是一个带训练参数的loss计算层，因此CRF层只用来训练模型，而预测则需要另外建立模型，但是还是要用到训练好的转移矩阵"""def __init__(self, ignore_...
基于 Spark 推荐系统, 基于内容标签 CBCF 实现，协同过滤 UBCF 实现，协同过滤 IBCF 实现+源代码+文档说明
12-28
1、资源内容： 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 4、作者介绍：某大厂资深算法工程师，从事Matlab、Python、C/C++、Java、YOLO算法仿真工作10年；擅长计算机视觉、 目标检测模型、智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、智能控制、路径规划、无人机等多种领域的算法仿真实验，更多源码，请上博主主页搜索。 -------------------------------------------------------------------------- -
人工智能知识库spark_dnn算法
11-29
人工智能、深度学习、算法、机器学习，知识库、特征筛选等
CRF++源码解读
热门推荐
CarlXie
04-05 1万+
在《条件随机场(Conditional Random Field)简介》中我们了解了条件随机场的基本原理，但是通篇都是数学公式，对于奋战在一线的兄弟估计有点看不爽，并且里面对feature function仅仅只是一笔带过，这通常在实际应用中恰恰相反，一般工作应用在feature engineering上会大费周章，而在算法模型上只是简单套用。为了更好地掌握和运用CRF，本篇将带领大家解读CRF一个
# CRF++源码分析——模型的加载#
hongchenWang的博客
11-25 2640
CRF++源码分析——模型的加载 接触CRF++有一段时间了，也看了一些CRF++的一些源码，再次打算对CRF++的源码进行分析，整理下以前对CRF++的理解。对CRF++的分析主要分为三部分: 1-模型的训练 2-模型的加载 3-任务的应用 由于模型训练的分析比较复杂，所以我打算放在最后来分析，按2->3->1的顺序来讲。关于CRF++的一些基本知识不再单独讲解，不熟悉的可...
自然语言处理系列十五》中文分词》机器学习统计分词》CRF分词
weixin_52610848的博客
02-03 371
此文章有对应的有陈敬雷老师的清华大学出版社配套书籍教材 【自然语言处理原理与实战（人工智能科学与技术丛书）】 https://item.jd.com/13951851.html 和【分布式机器学习实战（人工智能科学与技术丛书）】，对应京东自营链接地址： https://item.jd.com/12743009.html
【Spark NLP】第 9 章：信息提取
sikh_0529的博客
10-29 1832
如果我们使用模型方法，事情可能会有点模糊，因为模型可以识别可能不完全出现在我们的数据库中的名称。另一方面，考虑到“可能导致头晕”的医学示例，我们可能不想将描述该患者的短语包含在患有头晕的患者集中。还有一些其他的例外，主要是在上下文中合适的非专有名词短语——例如，像“牛仔队”这样的运动队。事实上，如果我们将嵌入的句子作为自己的句子并拆分连接动词，我们得到的只是关于患者的陈述之一。如果您正在执行特定于域的 NER，则可以使用一组精选的术语在没有模型的情况下查找文档中的出现。例如，看下面的不合语法的句子。
条件随机场CRF - 学习和预测
皮皮blog
10-30 5943
CRF的学习即CRF的参数估计问题。条件随机场模型实际上是定义在时序数据上的对数线性模型（LR模型同样是），其学习方法包括极大似然估计和正则化的极大似然估计。具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。改进的迭代尺度法(IIS) 已知训练数据集，由此可知经验概率分布 ，可以通过极大化训练数据的对数似然函数来求模型参数。 训练数据的对数似然函
机器学习（有监督）——条件随机场CRF
最新发布
qq_57832544的博客
02-22 1623
以命名实体为例：类别[B，I，O]，B表示名字的第一个字，I表示名字后面的字，O表示不是名字的字。则序列X[他，叫，王，小，明，。]，对应的标签Y[O，O，B，I，I，O]。input3->结束中：三个标签里最优的标签是label2，往回找input2->input3的最优标签是label3，同理input1->input2是label3，所以最优标签状态就是label3、label3、label2）。实际上就是所有路径得分之和：1-1-1、1-1-2、1-1-3、......、3-3-2、3-3-3。
CRF代码及实现原理（二）
cpluss的博客
03-26 5375
主要介绍CRF代码实现 代码来源：pytorch官网 代码链接： https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html 配合另一篇文章讲解，看此篇之前，最好看一下另一篇文章（CRF原理以及维特比解码），看完之后会很容易理解 另一篇文章链接：https://blog.csdn.net/cpluss/article/det...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值