古诗词 中文 分词 自动化

最新推荐文章于 2024-04-12 17:02:56 发布
最新推荐文章于 2024-04-12 17:02:56 发布
阅读量2.5k 收藏 5
点赞数
文章标签： 人工智能 java
原文链接：http://www.cnblogs.com/xuxm2007/p/8724765.html
版权

https://segmentfault.com/a/1190000004571958

http://www.woshipm.com/data-analysis/970466.html

https://zhuanlan.zhihu.com/p/25446637

转载于:https://www.cnblogs.com/xuxm2007/p/8724765.html

weixin_30642029
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
唐诗数据库 --- 分词
qq_43632625的博客
01-23 676
目的： 将每首唐诗的题目和正文部分进行分词，比如： 原句：我爱敲代码！ 分词结果： 词性 词语 r（代词） 我 v（动词） 爱 v（动词） 敲 n（名词） 代码 w（标点符号） ！ 步骤： （1）使用第三方库，配置本地Maven仓库。 （2）对题目和正文部分进行分词，并保存数据。 具体实现： （1）配置本地Maven仓库。 <dependency> ...
Jiayan：甲言，专注于古代汉语（古汉语古文文言文文言）处理的NLP工具包，支持文言词库合成，分词，词性标注，断句和标点。Jiayan是为古典汉语设计的工具包，支持词典构建。 ，标记，POS标记，句子分段和标点符号
02-03
甲言Jiayan 简介 甲言，取“Oracle言”之意，是一种专注于古汉语处理的NLP工具包。目前通用的汉语NLP工具均以现代汉语为核心语料，对古代汉语的处理效果很差（详见）。本项目的初衷，便是辅助古汉语信息处理，帮助有志于挖掘古文化矿藏的古汉语学者，爱好者等更好的地分析和利用文言资料，从“文化遗产”中创造出“文化新产”。当前版本支持，，，和五项功能，更多功能正在开发中。 功能 利用无监督的双，以及左右进行文言词库自动生成。 利用无监督，无词典的和进行古汉语自动分词。 利用词库合成功能产生的文言词典，基于有向无环词图，句子最大概率路径和动态规划算法进行分词。 根据词的的序列标注，词性详见。 基
古诗词方面词库字典，自然语言处理，分词
12-17
古诗词方面词库字典，自然语言处理，分词
中文分词，c++应用，想到jieba分词，结果还的自己封装。探索中
PHP代码的博客
04-12 962
另一个部分是根据输入的语句，构建具体的模型参数（通过上面也可以看到，根据具体输入得到对应的概率），然后执行维特比算法求出最佳的隐含状态序列。在本工程中，通过当前状态的前一个状态，计算出在前面状态出现的条件下出现当前状态的概率，并取最大值作为当前状态出现的概率。（4）由于每个字都有一个状态，所以在分词过程中，有可能会把原来是词的分开了，原来不是词的合成了词，造成错误的分词。（3）分词说明：根据维特比算法求得了隐含序列后，顺序输出，当该字是处于E状态或者S状态时，在该字后添加‘/’，输出后即可看到分词的效果。
分词统计（四）唐宋元诗人吟诗作词的时候，最偏爱哪些词语呢？（附上AI写的1000句诗！）
weifeng的博客
03-12 3943
要知道诗人们最偏爱哪些词语，需要统计诗词中的高频词，可以利用”讯飞分词”做一个大致的统计。 本次统计了唐诗320首，宋词300首，元曲300首，总共920首，分词总量为14353个。 之前听说过国外的人工智能可以自己写诗了，其实掌握了我们古代诗词的大数据，加上对语义的理解，套上算法，我们就可以自己写诗了！。文章的后面我会放上一些简单的AI写的诗。 唐诗统计结果 分词总量67
NLP-古诗词中文数据集
08-30
主要用于NLP分析的古诗词数据集，可以用于各种AI模型实验
九万首古诗词语料（可用于补充知识库）
07-18
9万首古诗词语料，包含诗词名 作者 诗词内容
基于 LSTM 模型的古诗词自动生成算法实现及系统实现
最新发布
04-14
近年来，研究者在利用循环神经网络（Recurrent Neural Network，RNN）进行古诗自动生成方面取得了显著的效果。但 RNN 存在梯度问题，导致处理时间跨度较长的序列时 RNN 并不具备长期记忆存储功能。随后，出现的基于...
古汉语诗词自动生成方法研究.docx
04-06
实现诗歌自动生成：本系统基于深度学习中的循环神经网络(RNN)技术，以TensorFlow为开发环境进行模型设计，以此实现古体诗和藏头诗的自动生成。 图形用户界面设计：采用HTML中的CSS技术进行简单的前端设计，设计出能...
古诗词网站html前端
11-23
古诗词赏鉴网站，只有html的前端示例界面，布局方面和“古诗文网”大致相同（侵删） 功能如下： 首页登录：随机显示诗词推荐，管理员或用户登录 （1）用户 咬文嚼字：古诗词查阅、解读、下载，与同好交流 举善...
中文自动分词 哈工大-中文信息处理实验二 实验报告
07-06
中文自动分词 1. 使用任意分词方法实现汉语自动分词； 2. 给出至少1000个句子的分词结果（以附件形式）； 3. 计算出分词结果的正确率，并给出计算依据； 4. 用实例说明所用分词方法分别对“交叉歧义”和“组合歧义”的处理能力； 5. 提交实验报告，给出详细实验过程和结果；提交源代码和可执行程序。
古诗词相关词库
weixin_45811713的博客
10-03 2932
相关词库 1、人名语料库： https://github.com/wainshine/Chinese-Names-Corpus wainshine/Chinese-Names-Corpus 人名抽取功能 python package cocoNLP，欢迎试用（可用于中文分词、姓名识别） 2、古诗词库： https://github.com/panhaiqi/AncientPoetry repo 更全的古诗词库 3、同义词库、反义词库、否定词库： https://github.com/panhaiqi/Anc
基于机器学习的古代汉语自动分词标注算法及语料库研究
毕业作品网站
08-03 1393
摘 要 近年来，深度学习的浪潮渗透在科研和生活领域的方方面面，本文主要研究深度学习在自然语言处理，尤其是古汉语自然语言处理方面的应用。本文旨在利用计算机帮助古文研究者对古汉语完成断代、断句、分词及词性标注等特殊而繁琐的任务，其中的断句、分词是不同于英文自然语言处理的，中文自然语言处理所特有的任务，尤其是断句任务更是古汉语自然语言处理所特有的任务。利用计算机处理古代汉语的各种任务有助于提高语言工作者的工作效率，避免人为主观因素误差，这将他们从繁重的古汉语基础任务中解脱出来，从使他们而将更多的精力投入到后续的
干货 | 史上最全中文分词工具整理
NicolasLearner的博客
06-14 2383
作者 |fendouai 一．中文分词 分词服务接口列表 二．准确率评测： THULAC：与代表性分词软件的性能对比 我们选择LTP-3.2.0、ICTCLAS(2015版)、jieba(C++版)等国内具代表性的分词软件与THULAC做性能比较。我们选择Windows作为测试环境，根据第二届国际汉语分词测评（The SecondInternational Chinese Word Segmentation Bakeoff)发布的国际中文分词测评标准，对不同软件进行了速度和准确率测试。...
vue项目不支持IE浏览器提示
热门推荐
weixin_42115781的博客
05-28 1万+
index.html <div id="app"> <iframe id='IEIframe' style='display: none;' width="100%" height="700px" src="/static/ie.html" frameborder="0"></iframe> </div> <script type="text/javascript"> /* 如果是ie浏览器 */ if (!!window.ActiveX.
用文本挖掘剖析近5万首《全唐诗》
Python中文社区
03-26 8987
CodingGo技术社区自由的编程学习平台楔子近些年来，弘扬中华传统文化的现象级综艺节目不断涌现，如《中国汉字听写大会》、《中国成语大会》、《中国谜语大会》、《中国诗词大会》等，其背后的社会成因，在于人们对中国文化中最精致文字的膜拜心理，虽然浸淫于层出不穷的网络语汇，时时面临“语言荒漠”的窘境，仍心向往之。上述节目中，笔者最感兴趣的还是《中国诗词大会》---通过对诗词知识的比拼及赏析，带动全民重温
五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP
u014033218的专栏
05-01 5635
最近玩公众号会话停不下来：玩转腾讯词向量：Game of Words（词语的加减游戏），准备把NLP相关的模块搬到线上，准确的说，搬到AINLP公众号后台对话，所以，趁着劳动节假期，给AINLP公众号后台聊天机器人添加了一项新技能：中文分词线上PK，例如在AINLP公众号后台对话输入：中文分词 我爱自然语言处理，就可以得到五款分词工具的分词结果： 现在的开源中文分词工具或者模块已经很丰富了，...
IK分词工具的使用（java）
LearnToPain的博客
11-11 1967
说明   到目前为止，就中文分词工具和中文分词方法而言，分词模型大概有10几个种类，效果较好的并不多，HMM，MMSEG之类的，当然还有深度学习的模型，paddle的模型比较好。按工具名说的话有中科院的nlpir，哈工大的ltp,不知何出的jieba，还有清华北大都有分词工具，还有很多，十几种应该有。所有工具我都看了的效果并不是他们吹嘘的那么好，很多场景都无法正常分词。 主要问题：   emsp;同样的词在不同的句子中分词效果不一样；   未登录词，也就是常见的专有名词，无法处理；   歧义句子；   现在
python自动生成古诗词带前端页面
07-27
Python自动生成古诗词带前端页面可以通过以下步骤实现： 1. 数据收集：首先需要收集一定量的古诗词数据。可以从已有的古诗词数据库中获取，或者爬取相关网站的古诗词信息。收集到的数据应包括作者、标题、内容等信息。 2. 数据处理：使用Python处理收集到的数据，进行数据清洗和整理。可以使用正则表达式或其他字符串处理方法，去除一些特殊字符和标点符号，使得数据更加规范化。 3. 模型训练：使用Python的机器学习库（如TensorFlow、Keras等）训练一个生成古诗词的神经网络模型。可以考虑使用循环神经网络（Recurrent Neural Network, RNN）或者变种（如长短期记忆网络，LSTM）来生成具有韵律和语义的古诗词。 4. 前端设计：使用HTML、CSS和JavaScript等前端技术，设计一个简洁美观的网页界面。可以使用Bootstrap等前端框架来提高开发效率。 5. 后端搭建：使用Python的Web框架（如Django、Flask等）搭建后端服务器，将生成古诗词的代码部署到服务器上。后端处理用户请求，将生成的古诗词返回给前端页面。 6. 生成古诗词：前端页面中提供一个按钮或输入框，用户点击按钮或输入关键词后，前端页面将请求发送至后端服务器。后端服务器接收到请求后，使用训练好的模型生成古诗词，并将生成的古诗词返回给前端页面。 通过以上步骤，就可以实现Python自动生成古诗词带前端页面的功能。用户可以在前端页面上进行与生成古诗词相关的交互操作，获取到自动生成的古诗词内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值