nlp
文章平均质量分 56
松叔汇
松叔汇数据智能,大数据智能的加工厂,致力于人工智能技术推广,让所有老百姓都可以掌握人工智能。
展开
-
vgg加载训练好的模型和参数(我的第一篇CV入门)
第一次实现图像识别,有点折腾,网上资料不全!!!原创 2021-06-09 23:05:21 · 393 阅读 · 0 评论 -
python安装pyhanlp遇到的坑
折腾了好久,分享给大家,少走弯路!!!试了好多方法,出现了这样报错,那样报错,最折腾的莫过于microsoft visual c++ 14.0 is required 的问题!!!其实没有Microsoft Visual c++环境也是可以的 !!! 关键是 jpype1 和 pyhanlp 还有 python的版本要对得上!!!这里我成功安装是采用的 Python 3.6 , 不多说,直接来操作!!!1 重新创建一个conda环境指定Python 3.6 : conda create --nam原创 2021-05-23 17:48:44 · 448 阅读 · 0 评论 -
通俗易懂解释知识图谱(Knowledge Graph)
完整机器学习实现代码GitHub欢迎转载,转载请注明出处https://www.cnblogs.com/huangyc/p/10043749.html欢迎沟通交流: 339408769@qq.com目录前言知识图谱定义数据类型和存储方式知识图谱的架构4.1 逻辑架构4.2 技术架构信息抽取5.1 实体抽取(Entity Extraction)5.2 关系抽取(Relation Extraction)5.3 属性抽取(Attribute Extraction)原创 2021-04-14 01:42:32 · 1149 阅读 · 0 评论 -
能不能只要训练集和测试集,不要验证集呢?
看了看网上的博客,发现验证集和训练集并没有冲突啊.训练集必须和测试集分开这个是很好理解的.但是我不明白为什么验证集一定从训练集中分出来?验证集的目的是调整超参数.超参数不能够在训练时自动调整,是因为容易发生过拟合.因此需要每次重新人工设定超参数,然后在验证集上训练并测试.但是我用全部的训练集数据去验证新的超参数下的模型效果不是也可以吗?难道是为了缩短训练时间?问题比较初级,还望指教.谢谢不能。验证集的作用在于模拟测试集,而测试集的最大特点就是「未知」,即在训练过程中是见不到的。正因为验证集和测试集在训原创 2021-04-11 10:40:49 · 7268 阅读 · 0 评论 -
机器学习:交叉验证和模型选择与Python代码实现
前言:本篇博文主要介绍交叉验证(cross validation)和模型选择,首先介绍相关的基础概念和原理,然后通过Python代码实现交叉验证和模型评估以及选择。特别强调,其中大多理论知识来源于《统计学习方法_李航》和斯坦福课程翻译笔记。1.分类器的评价评价分类器性能的指标一般是分类的准确率,其定义是:对于给定的测试数据集(X_test),分类器正确分类的样本数与总样本数之比。这里特别强调一下,有一种分类问题——“偏斜分类”——一般是“二分类”问题。这类问题有一个特点就是:某一类的样本数很少,例如病原创 2021-04-11 10:33:39 · 838 阅读 · 0 评论 -
中文文本分类器训练集
sougou还真地道。中文文本分类器训练集下载http://www.sogou.com/labs/dl/c.htmlmini版(tar.gz格式) 136Kmini版(zip格式) 167K精简版(tar.gz格式) 24M精简版(zip格式) 30M完整版 107M(由于文件较大,需要注册后获取ftp地址下载)分类编码对照表(txt格式) 138字节相关资源:新闻类中文文本分类数据集https://blog.csdn.net/weixin_33929309/article/details原创 2021-04-11 10:20:06 · 262 阅读 · 0 评论 -
使用Standford coreNLP进行中文命名实体识别
安装:pip install stanfordcorenlp国内源安装:pip install stanfordcorenlp -ihttps://pypi.tuna.tsinghua.edu.cn/simple使用stanfordcorenlp进行命名实体类识别对中文进行实体识别from stanfordcorenlp import StanfordCoreNLPzh_model = StanfordCoreNLP(r’D:\Anaconda\Scripts\NLP\stanford-core原创 2021-04-10 17:25:45 · 697 阅读 · 0 评论 -
业界有哪些做的不错的知识图谱产品
转自:知识图谱论坛随着知识图谱越来越火,很多公司都在应用或布局知识图谱,市场上也涌现出越来越多的知识图谱相关的产品,市场上有哪些做的不错的知识图谱产品,值得我们参考,以下列举一些相关产品,欢迎评论区补充。1、业界系统产品企业信息查询是最典型的应用: 鹰眼查、企查查percent百分点: 动态知识图谱海之星图:知识图谱合合信息:知识图谱明略科技:之前看过,目前找不到链接同盾复杂网络2、平台基础设施阿里 图深度学习框架 Euler华为图引擎腾讯知识图谱skg更多:知识图谱论坛————原创 2021-04-10 15:06:22 · 294 阅读 · 0 评论 -
滤波的概念和作用(滤波器、掩模、核、模板、窗口是一个意思)
转载自:https://blog.csdn.net/mvtechnology/article/details/45041771图像滤波增强处理实质上就是运用滤波技术来增强图像的某些空间频率特征,以改善地物目标与领域或背景之间的灰度反差。遥感系统成像过程中可能产生的”模糊”作用,常使遥感图像上某些用户感兴趣的线性形迹、纹理与地物边界等信息显示得不够清晰,不易识别。需要通过采用领域处理方法来分析、比较和调整像元与其周围相邻像元间的对比度关系,图像才能得到增加,也就是说需要采用滤波增加技术处理。 一,空域滤波原创 2021-04-10 14:12:00 · 2153 阅读 · 0 评论 -
什么是指代消解?
文章目录:什么是指代?什么是指代消解?指代关系样例什么是实体和指称?要想理解指代消解,需要先理解指代的概念。什么是指代?一般在语言学及我们日常用语当中,在下文采用简称或代称来代替上文已经出现的某一词语,语言学中把这种情况称为“指代现象”,也即是指代。指代现象能够避免同一词语重复出现所造成的语句臃肿、赘述等问题;但也因为这种省略造成“指代不明”的问题。什么是指代消解?形式上,将代表同一实体(Entity)的不同指称(Mention)划分到一个等价集合(指代链,Coreference Cha原创 2021-04-10 14:02:07 · 1046 阅读 · 0 评论 -
PyCharm使用小技巧
一、常用快捷方式Ctrl+d - 复制一行Ctrl+y - 删除一行 Ctrl+/ - 注释单行和多行Shift+回车 - 快速换行Tab - 向右缩进Shift+Tab - 向左缩进Ctrl+f - 查找Ctrl+r - 替换Ctrl± - 折叠代码Ctrl++ - 展开代码Ctrl+Shift± - 批量折叠Ctrl+Shift++ - 批量展开 热键快捷方式设置:File > Settings > Keymap (双原创 2021-04-07 22:09:27 · 1068 阅读 · 0 评论 -
API开放之后,我们才真正领略GPT-3的强大……
毫无疑问,近期硅谷最火的话题就是 GPT-3 了。有多火?这张图足够有说明了:甚至有人围绕 GPT-3 写了各种笑话,其中比较搞笑的一条:约会第一句话:“我拿到 GPT-3 体验资格了”到底啥是GPT-3?GPT-3 是著名人工智能科研公司 OpenAI 开发的文字生成 (text generation) 人工智能,相关论文5月份已经发表,当时就以天文数字级别的1,750亿参数量引发轰动。不过直到最近,公众才真正见识到它到底有多厉害……到底发生了什么?原来,OpenAI 这次一反之前死守基础研原创 2021-04-07 22:08:04 · 656 阅读 · 0 评论 -
SOTA是个啥
在看一些论文及介绍时,经常提到其模型SOTA、效果SOTA,不知道是啥,搜索了一下,原来如此–State-Of-The-Art的首字母缩写:SOTA model:State-Of-The-Art model,是指在该项研究任务中,对比该领域的其他模型,这个是目前最好/最先进的模型。SOTA result:State-Of-The-Art result,一般是说在该领域的研究任务中,此paper的结果对比已经存在的模型及实现结果,此Paper的模型具有最好的性能/结果。————————————————原创 2021-04-06 23:07:43 · 2662 阅读 · 0 评论 -
巨星GPT-3,并非终点
它让我看到了未来!AGI离我们又进了一步…最近关于GPT-3的吹捧在各大社交媒体平台此起彼伏。GPT-3是谁?它是OpenAI斥巨资打造的自然语言处理模型,拥有1750亿超大参数量,是NLP领域最强AI模型。自今年5月份首次推出以来,凭借惊人的文本生成能力,在各大媒体平台一直热度不减。这一次,关于GPT-3的吹捧再次被推向高潮,有网友发现GPT-3不仅能够答题、写文章,做翻译,还能生成代码、做数学推理、数据分析、画图表制作简历,甚至玩游戏都可以,而且效果出奇的好。由此不禁有网友感叹,如此全能的AI,原创 2021-04-06 22:58:18 · 312 阅读 · 0 评论 -
GTP-3算法是一种“暴力美学”的胜利
2016 年,AlphaGo 可以说确立了 AI 的“围棋霸权”。但人工智能专家李志飞却说,“AlphaGo 更多是对人类心智的冲击”。在过去 5 年里,他认为去年问世的 AI GPT-3 的现实影响力可能会比 AlphaGo 更大,因为 GPT-3 让人类真切看到了通用语言智能的希望。AlphaGo 虽能轻松击败人类,但也只限于围棋等专精领域,无法“触类旁通”;而 GPT-3 除了文本联想、翻译、写诗,还能画画、做财务报表、编程,“一个模型就可以做所有事”。通用,就是 GPT-3 的革命性。李志飞把原创 2021-04-06 22:02:17 · 3467 阅读 · 0 评论 -
一起拥抱 ACL 和 NLP 的光明未来
https://www.msra.cn/zh-cn/news/features/acl-2019-ming-zhou编者按:7月29日,ACL 2019在意大利佛罗伦萨开幕。在开幕仪式上,ACL 主席、微软亚洲研究院副院长周明博士做了主题演讲,为大家介绍了 ACL 学会的工作进展,NLP 领域的技术趋势以及未来重要的发展方向。大家好,欢迎大家来到美丽的佛罗伦萨参加 ACL 2019大会。提起佛罗伦萨,人们很自然地会联想到文艺复兴,这场改变了世界文明的文化运动就是兴起于这里。很高兴 ACL 会议可以在这样原创 2021-04-06 21:46:29 · 165 阅读 · 0 评论 -
2021年值得期待的7大NLP趋势 - analyticsindiamag
在本文中,我们尝试预测2021年以后NLP的趋势。社交媒体情感分析社交媒体上的每时每刻都会生成大量数据。这也带来了一个特殊的问题,即无法完全手动生成所产生的所有这些信息。事实证明,自然语言处理是这方面的重要工具。作为情感分析工具,NLP通过分析情感,语言和理解对话的紧迫性,帮助越来越多的公司快速了解客户对其品牌的感觉。但是,NLP仍无法区分同一单词的不同含义。包括单词与句子的上下文含义,以及如何识别讽刺或讽刺性陈述。NLP当前面临的另一个挑战是分析具有多种含义(通常是矛盾的)的语句。虽然不能绝对肯原创 2021-04-06 21:41:30 · 442 阅读 · 0 评论 -
从 ACL 2019 看 NLP 未来发展趋势
随着自然语言处理领域的顶级盛会 ACL 2019 落幕,亚马逊 Alexa AI 的机器学习科学家 Mihail Eric 对本次会议进行了一次比较全面的回顾。从奇闻轶事到学术前沿,本文一网打尽,自然语言处理领域的小伙伴们不要错过!本周,我有幸参加了 2019 年计算语言学协会年会(ACL),本届会议在美丽的佛罗伦萨的一座古老的美第奇家族的城堡举行。我非常热衷于参加学术会议,因为你可以在很短的时间内掌握研究社区的前沿思潮,了解人们的所思所想以及该领域的最新进展。对于全世界的自然语言处理(NLP)研究者而原创 2021-04-06 21:34:53 · 224 阅读 · 0 评论 -
NLP未来,路在何方?12位巨佬联名指路!
CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章,你相信么?但别惊讶,在即将召开的EMNLP’20的长文列表里,我们就真找到了这样一篇“奇文”。一篇论文引得众星云集,那解决的必然不是小问题。这不,作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里——Where is NLP going?……在未来的这几分钟里,让我们暂时放下自己正在改的模型、正在写的论文和正在追的SOTA,重原创 2021-04-06 21:23:39 · 368 阅读 · 0 评论 -
数据挖掘关联分析中的支持度、置信度和提升度
购物篮分析:利用关联分析的方法可以发现联系如关联规则或频繁项集。二元表示:每一行对应一个事务,每列对应一个项,项用二元变量表示,项在事务中出现比不出现更重要,因此项是非对称的的二元变量。项集(Itemset):包含 0 个或多个项的集合,如果包含 k 个项,则称为 k-项集。事务的宽度:事务中出现的项的个数一般我们使用三个指标来度量一个关联规则,这三个指标分别是:支持度、置信度和提升度。Support(支持度):表示同时包含 A 和 B 的事务占所有事务的比例。如果用 P(A) 表示包含 A 的原创 2021-03-24 01:39:59 · 2818 阅读 · 0 评论 -
A-机器学习基础
ML-机器学习基础Index偏差与方差导致偏差和方差的原因深度学习中的偏差与方差偏差/方差 与 Boosting/Bagging偏差与方差的计算公式偏差与方差的权衡(过拟合与模型复杂度的权衡)生成模型与判别模型先验概率与后验概率偏差与方差《机器学习》 2.5 偏差与方差 - 周志华偏差与方差分别是用于衡量一个模型泛化误差的两个方面;模型的偏差,指的是模型预测的期望值与真实值之间的差;模型的方差,指的是模型预测的期望值与预测值之间的差平方和;在监督学原创 2021-03-24 01:24:08 · 147 阅读 · 0 评论 -
A-机器学习基础
ML-机器学习基础Index偏差与方差导致偏差和方差的原因深度学习中的偏差与方差偏差/方差 与 Boosting/Bagging偏差与方差的计算公式偏差与方差的权衡(过拟合与模型复杂度的权衡)生成模型与判别模型先验概率与后验概率偏差与方差《机器学习》 2.5 偏差与方差 - 周志华偏差与方差分别是用于衡量一个模型泛化误差的两个方面;模型的偏差,指的是模型预测的期望值与真实值之间的差;模型的方差,指的是模型预测的期望值与预测值之间的差平方和;在监督学原创 2021-03-24 01:21:27 · 89 阅读 · 0 评论 -
结巴分词(jieba)
源码下载的地址:https://github.com/fxsjy/jieba演示地址:http://jiebademo.ap01.aws.af.cm/特点1,支持三种分词模式:a,精确模式,试图将句子最精确地切开,适合文本分析;b,全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;c,搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。2,支持繁体分词3,支持自定义词典安装1,Python 2.x 下的安装全自动安装 :ea原创 2021-03-24 01:10:24 · 551 阅读 · 0 评论 -
bert
https://blog.csdn.net/weixin_42001089/article/details/97657149https://gitee.com/bete/Entity-Relation-Extraction原创 2021-03-23 22:28:07 · 60 阅读 · 0 评论 -
聊天机器人chatbot搭建及思考(TensorFlow)(附代码)
原文链接:https://blog.csdn.net/zhr1030635594/article/details/103966891原创 2021-03-22 22:36:33 · 308 阅读 · 0 评论 -
知识图谱开源库
一、openkghttp://openkg.cn/home二、DBPediahttps://github.com/dbpedia/dbpedia/tree/master/tools/DBpediaAsTables三、LOD(Linked Open Data)https://lod-cloud.net/四、cnSchemahttps://cnschema.org/五、Linked Open Schemahttp://openkg.cn/dataset/linked-open-schema六翻译 2021-03-11 22:39:44 · 838 阅读 · 0 评论