nlp
零落_World
https://github.com/cdj0311
展开
-
Keras-DSSM之in-batch余弦相似度负采样层
定义余弦相似度层,并在batch内进行负采样NEG, batch_size = 20, 128class NegativeCosineLayer(): """ 自定义batch内负采样并做cosine相似度的层 """ def __call__(self, inputs): def _cosine(x): query_encoder, doc_encoder = x doc_encoder_fd = doc_encod原创 2021-10-20 15:00:00 · 1173 阅读 · 1 评论 -
DSSM深度语义匹配原理与Tensorflow实现
在工业界DSSM(Deep Structured Semantic Models)已经演化成一种语义匹配框架,不仅用于文本的匹配,也用于推荐系统的User-Item的匹配,本文描述与实现DSSM在文本匹配上的应用,主要内容如下:DSSM原理 数据预处理 模型实现 模型训练 模型预测DSSM原理 DSSM的主要结构如下: 主要分为表示层和匹配层,表示层可使用全连接、RNN、Transformer等等网络得到query和d...原创 2020-07-28 16:55:37 · 4525 阅读 · 1 评论 -
阿里自然语言处理部总监分享:NLP技术的应用及思考
本文整理自阿里巴巴iDST自然语言处理部总监郎君博士的题为“NLP技术的应用及思考”的演讲。本文从NLP背景开始谈起,重点介绍了AliNLP平台,接着分享了NLP相关的应用实例,最后对NLP的未来进行了思考。背景介绍阿里巴巴的生态系统下面有很多的计算平台,上面有各种各样的业务层,最中间是买家和卖家之间包括销售、支付等等之间的关系,外面建了一圈从娱乐到广告到金融到购物到物流等转载 2018-01-26 21:52:27 · 1404 阅读 · 0 评论 -
深度| 百度副总裁王海峰:百度在NLP领域都做了什么?
思考和获得知识的能力成就了今天的人类,这种能力需要通过语言来找到思考的对象和方法,并外化为我们看、听、说和行动的能力。而语音、视觉、行为和语言等正是现在AI领域的重要研究内容。相对于看、听和行动的能力,语言是人类区别于其他生物最重要的特征之一。语言是人类思考的载体,通常我们的思考语言是母语。当我们学习外语时,老师希望我们要努力使用外语来思考。另一方面,从人类历史之初,知识就以语言的形式进行转载 2018-01-26 21:53:22 · 342 阅读 · 0 评论 -
PageRank 算法详解
转载自:https://blog.csdn.net/m0_37786726/article/details/79864012参考文献:https://blog.csdn.net/androidlushangderen/article/details/43311943链接分析在链接分析中有2个经典的算法,1个是PageRank算法,还有1个是HITS算法,说白了,都是做链接分析的。具体是怎么做呢,继...转载 2018-04-10 16:45:38 · 6306 阅读 · 2 评论 -
Keras之文本分类实现
转载自:https://zhuanlan.zhihu.com/p/29201491写在前面从优达DLND毕业后,一直想自己动手做点什么来着,互助班的导师也鼓励自己动手写点心得体验啥的。之前一直没怎么观看Youtube网红Siraj老师的课程视频,他每个视频最后都会有一个编程挑战。于是,想着先从自己熟悉的内容着手吧,Siraj老师第三周的编程挑战是做一个多类别的文本分类器,链接在此:Github,那...转载 2018-05-24 14:25:22 · 25294 阅读 · 4 评论 -
jieba并行分词
jieba并行分词每次都要重新写,这次记下来。# coding:utf-8import codecsfrom multiprocessing import Poolimport jiebafin = "news.txt"fout = "news.seg"def read_data(): fr = codecs.open(fin, "r", "utf-8") ...原创 2018-07-31 17:25:25 · 3743 阅读 · 0 评论