![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
@洋辣子
人工智能,机器学习,深度学习,nlp
展开
-
特征工程 及其理解
数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限。特征工程的本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用。原创 2020-06-02 16:30:57 · 272 阅读 · 0 评论 -
tensorflow serving搭建
分为3步:1. 保存tensorflow server用的模型文件2. 在docker中启动tensorflow server3. 在客户端请求原创 2020-06-02 16:01:11 · 491 阅读 · 1 评论 -
python多进程与多线程,进程同步,共享内存
python多进程与多线程的实现,进程同步,多进程共享变量与内存。并发和并行的区别:它们虽然都说是"多个进程同时运行",但是它们的"同时"不是一个概念。并行的"同时"是同一时刻可以多个进程在运行(处于running),并发的"同时"是经过上下文快速切换,使得看上去多个进程同时都在运行的现象,是一种OS欺骗用户的现象。实际上,当程序中写下多进程或多线程代码时,这意味着的是并发而不是并行。并发是因为多进程/多线程都是需要去完成的任务,不并行是因为并行与否由操作系统的调度器决定,可能会让多个进程/线程.原创 2020-05-27 18:56:31 · 982 阅读 · 0 评论 -
相关文本匹配技术
问题描述根据query从海量的doc中召回最相关的N个doc。从数据上区分,通过用点击数据训练得到的模型是行为相关,通过相关本文训练的数据是语义相关。从模型上区分,有基于表征的关联模型和基于匹配的关联模型。语义关联模型从语义关联模型的角度,可以分为基于表征的模型和基于交互的模型模型的训练目标可以分为3类:pointwise,即一个query对应1个doc,标签形式为 0 或 1,标签 0 表示 query 与该 doc 不匹配,标签 1 表示匹配。 pairwi...原创 2020-05-14 16:29:56 · 203 阅读 · 0 评论 -
深度学习图模型综述
从deepwalk到graphsage的同质图模型,从metapath2vec到HGAN的异构图模型原创 2020-05-13 16:10:25 · 1054 阅读 · 0 评论 -
概率图模型:隐马尔可夫模型(HMM)、最大熵模型(ME)、最大熵马尔可夫模型(MEMM)、条件随机场(CRF)对比
概率图模型对序列建模,区分概率图模型的关键是理解模型是联合概率分布还是条件概率分布,在nlp任务中,往往是要求条件概率P(y|x),联合概率分布模型通过贝叶斯公式将条件概率转换为求联合概率,再通过联合概率分布模型求解计算。隐马尔可夫模型(HMM)模型是一个联合概率分布P(Q,O),其中Q为隐变量(对应预测结果Y),O为可观测变量(对应训练数据X)。在求解问题时,通过贝叶斯公式转化为通过...原创 2019-05-31 11:58:45 · 2784 阅读 · 0 评论 -
BERT学习笔记
BERT模型使用Transformer模型对输入序列的每一个token进行深层的embedding,并使用了2种预训练技巧。输入将3种embeddings求和作为模型输入:Token Embeddings+Segment Embeddings+Position Embeddings输入样例:Token embeddings采用WordPiece embeddings方...原创 2019-05-29 10:18:41 · 587 阅读 · 0 评论 -
NLP模型发展综述,从word2vec到XLNet
NLP模型发展综述word2vec时间:2013.01论文地址:https://arxiv.org/abs/1301.3781github:https://github.com/danielfrg/word2vec问题提出:one-hot编码解决了文本特征离散表示的问题,但它假设词与词相互独立并且特征向量会过于稀疏,会造成维度灾难。方法:通过训练,将每个词都映射到...原创 2019-08-23 20:06:26 · 1398 阅读 · 3 评论