- 博客(19)
- 收藏
- 关注
RSS订阅转载 深度学习中的正则化（Regularization）
一、Bias（偏差） & Variance（方差）在机器学习中，这两个名词经常让我们傻傻分不清。我们不妨用案例来看看怎么区分。假设我们正在做一个分类器，分别在训练集和验证集上测试，以下为四种可能的情况：可见①、④两种情况的训练集误差都很小，接近optimal error，这种就称为low bias。说明训练的很到位了。相反，②、③两者的训练集误差很大，这就称为high b...
2020-01-16 10:27:11
710
1
原创 生成式对话seq2seq：从rnn到transformer
一、前言最近因为做对话机器人的原因，看了一下seq2seq。不禁感慨，自由对话机器人的水好深呀。查阅了一些市面上能看到资料，工业上的做法，普遍是 基础模板(例如 aiml)+IR闲聊库(例如 小黄鸡语料QA)+爬虫(百度、搜狗)+知识图谱(wiki百科)+对话生成模型。aiml模板就不说了，网上有很多的资料，效果上来说，比较智障。人工编写模板的工作量也大，也不能覆盖很多的回答。IR...
2019-12-16 00:45:01
1433
1
转载 NLP预训练模型：从transformer到albert
转载自：《NLP预训练模型：从transformer到albert》（https://zhuanlan.zhihu.com/p/85221503）背景语言模型是机器理解人类语言的途径，17年的transformer是语言模型摆脱rnn，lstm建模的一次尝试，后续的bert则是大力出奇迹的代表，用更大的模型和更多的数据将nlp任务的benchmark提高了一大截。gpt在auto-regr...
2019-12-12 14:01:28
557
原创 rasa的component，policy，action的自定义开发
rasa是我去年的时候学习使用的，但是后面没怎么用了。如今已经过去一年了，rasa代码的变化已经很大了，比如原来使用flask作为网络框架，现在已经换成性能更高的sanic了（https://www.jianshu.com/p/636833c71c2a)，具体性能表如下图所示；rasa core和rasa nlu合并成了rasa。我看到最近一年以来，网上有很多关于rasa的相关技术文档...
2019-12-01 23:44:08
2914
原创 大厂对话系统实践文章链接
阿里：大中台、小前台，阿里小蜜这样突破对话机器人发展瓶颈https://www.infoq.cn/article/8cN5eZ6Bgg*CWM5z5jYr机器如何猜你所想？阿里小蜜预测平台揭秘https://mp.weixin.qq.com/s/L5yNtibL-D9Rv9hd-WLN3g阿里小蜜：智能服务技术实践及场景探索https://mp.weixin.qq.com/s/...
2019-11-07 23:22:53
679
原创 智能客服FAQ知识点挖掘一般方法
一般来说，智能客服有3个功能实现：QABot，TaskBot，ChatBot。其中QAbot中包括FAQ，KBQA。这里我来谈一下FAQ中知识点的一般方法吧。一般来说，最开始产品经理会结合业务知识和经验，人工的总结出一些常见的标准问题和答案对，同时会做一些问句改写的工作。一般来说，一个标准问会写个3-5个相似问法，Q-Q paire是业内的通用做法，至于为什么这么做，请参考https://...
2019-08-06 23:02:56
1939
转载 NLP中一些简单的数据增强技术
ICLR 2019 workshop 论文《EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks》介绍了几种NLP数据增强技术，并推出了[EDA github代码](http://github.com/jasonwei20/eda_nlp)。EDA github re...
2019-04-25 19:53:19
5421
转载 信息检索（IR）常用评价指标计算方式（AUC,MAP,NDCG,MRR，Precision、Recall、F-score）
1.AUC（Area Under Curve）ROC曲线下方的面积大小,由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。首先AUC值是一个概率值，当你随机挑选一个正样本以及一个负样本，当前的分类算法根据计算得到的Score...
2019-02-24 23:46:37
4571
转载 nlp年度论文总结
这个缩写，代表“通用语言模型的微调”，出自ACL 2018论文：Universal Language Model Fine-tuning for Text Classification。详细的说明可以读他们的论文：https://arxiv.org/abs/1801.06146Fast.ai网站上放出了训练脚本、模型等：http://nlp.fast.ai/category/classif...
2018-12-28 23:05:13
1028
转载 NLP学习笔记
计算相似度的方法 度量文本相似度包括如下三种方法：一是基于关键词匹配的传统方法，如N-gram相似度；二是将文本映射到向量空间，再利用余弦相似度等方法；三是深度学习的方法，如基于用户点击数据的深度学习语义匹配模型DSSM，基于卷积神经网络的ConvNet，以及目前state-of-art的Siamese LSTM等方法。1) 字面距离莱文斯坦距离(编辑距离)、Jaro...
2018-12-27 10:15:56
342
原创 rasa安装和测试
rasa core：对话管理rasa nlu ：语义理解，意图识别和实体识别 git源地址参考：https://github.com/tedljw/rasa_test_ch 1. 安装相关组件包pip install rasa_nlu==0.13.4pip install rasa_core==0.11.4pip install rasa_core_sdk==0....
2018-12-20 15:13:02
4740
2
转载 智能客服FAQ问答任务的技术选型探讨
引子在智能客服的业务场景中，对于用户频繁会问到的业务知识类问题的自动解答（以下简称为FAQ）是一个非常关键的需求，可以说是智能客服最为核心的用户场景，可以最为显著地降低人工客服的数量与成本。比如10086的在线智能客服，用户提问“如何查询话费”，那系统可以自动给出一个对应的知识“请您向10086号码发送‘HF’短信，即可查询当前话费”，而不再需要耗费高成本的人力来做解答。本文要讨论的就...
2018-11-26 11:33:18
3858
2
原创 智能问答中Answer seletcion的一些总结
传统做法：1.直接根据关键词检索或 BM25 等算法计算相关性排序缺点：需要维护大量的同义词典库和匹配规则 机器学习做法：1.潜在语义分析技术（Latent Semantic Analysis，LSA）：将词句映射到低维连续空间，可在潜在的语义空间上计算相似度。2.PLSA（Probabilistic Latent Semantic Analysis）或者LDA（Lat...
2018-11-17 17:27:42
2351
转载 CRF与LSTM在序列标注问题上的不同
标注跟分类最大的区别就是：标注采的特征里面有上下文分类结果，这个结果你是不知道的，他在“分类”的时候是跟上下文一起"分类的"。因为你要确定这个词的分类得先知道上一个词的分类，所以这个得整句话的所有词一起解，没法一个词一个词解。而分类是根据当前特征确定当前类别，分类的时候不需要考虑上下文的分类结果，但可以引入上下文的特征。LSTM：像RNN、LSTM、BILSTM这些模型，它们在序列建模上很...
2018-10-20 16:51:17
1967
原创 centos7安装NVIDIA driver，cuda，cudnn，anaconda
系统版本系统版本可能需要：yum install kernel-develyum install kernel-headersyum install gccyum install gcc-c++ 一、安装英伟达显卡驱动：ELRepo 源中包含了一系列驱动程序。添加 ELRepo 源:sudo rpm --import https://www.el...
2018-10-19 14:20:50
3787
转载 C++ 用libcurl库进行http通讯网络编程
文章出处：http://www.cnblogs.com/moodlxs/archive/2012/10/15/2724318.html一、LibCurl基本编程框架libcurl是一个跨平台的网络协议库，支持http, https, ftp, gopher, telnet, dict, file, 和ldap 协议。libcurl同样支持HTTPS证书授权，HTTP P
2017-01-06 08:55:23
381
原创 对linux的进行和线程的一点认识
1.总的区别： 进程是担当和分配系统资源的基本单位，线程是任务执行的，比进程更小的基本单位。 线程可以理解为轻量级的进程，也意味着，线程与进程有一些相似的运行结构，比如，都有属于自己的栈空间，属于自己的变量。同时也意味着线程的运行有比进程更小的开销。 进程有独立的地址空间，线程没有独立的地址空间，它和与它处于同一进程的线程共享地址空间。2.由区别产生的一些
2016-11-22 12:05:14
264
转载 Nginx断点续传功能代码浅析-Range模块
HTTP 的Content-Range支持对于一般的网页处理没啥重要的作用，但是对于大文件的下载，CDN回源，点续传功能的作用是非常重要的。Content-Range允许一次只下载一个文件的一部分，后面再分批次下载文件的其他部分，或者并发下载，提高下载速度，这样如果在下载一个文件的过程中，网络断开了，恢复后不需要重新下载。nginx 对Content-Range的支持包括header处理和
2016-11-15 17:53:40
8987
原创 nginx cache 学习总结
Nginx cache 学习总结 一、nginx cache的基本指令1.1 proxy_cache syntax:proxy_cache zone| off;default:proxy_cache off;context:http, server, location
2016-10-19 11:55:05
8276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人