深度学习
Mr_不想起床
努力工作,环游世界!
展开
-
自然语言处理数据集(NLP Datasets)
收集了一些中文自然语言处理数据集,在此分享出来。后续会在github中不定时持续更新,欢迎Star。任务型对话数据、文本分类、实体识别&词性标注、搜索匹配、推荐系统、百科数据、指代消歧、中文完形填空数据集、中华古诗词数据库、保险行业语料库、汉语拆字字典、中文数据集平台情感/观点/评论 倾向性分析、中文命名实体识别、推荐系统、FAQ 问答系统维基百科、新闻语料、百科问答、社区问答、中英翻译语料中文语言理解测评基准,包括代表性的数据集、基准(预训练)模型、语料库、排行榜知识图谱的数据集:常识原创 2020-12-25 09:03:26 · 1386 阅读 · 3 评论 -
NLP合集:教程/实体抽取/关系(三元组)抽取/文本分类/知识图谱/Bert系列/相似度判定/机器人问答/文本工具/竞赛方案精选/面试指南/NLP各类任务数据集等集合
Cool-NLPCV (持续更新中…)Some Cool NLP and CV Repositories and SolutionsCool-NLP | Cool-CV旨在收集NLP中常见任务的开源解决方案、数据集、工具、学习资料等,方便学习或快速查找。在此分享出来,供大家参考。欢迎积极分享并Star,谢谢!会持续不定时更新,也欢迎加入共同分享。1、机器学习&深度学习入门精选Python-100天从新手到大师斯坦福大学2014(吴恩达)机器学习教程中文笔记《统计学习方法》第二版的代原创 2020-12-24 11:28:24 · 5219 阅读 · 4 评论 -
为什么要做特征归一化/标准化
Feature scaling,常见的提法有“特征归一化”、“标准化”,是数据预处理中的重要技术,有时甚至决定了算法能不能work以及work得好不好。谈到feature scaling的必要性,最常用的2个例子可能是: 特征间的单位(尺度)可能不同,比如身高和体重,比如摄氏度和华氏度,比如房屋面积和房间数,一个特征的变化范围可能是[1000, 10000],另一个特征的变化范围可能是[−0.1,0.2],在进行距离有关的计算时,单位的不同会导致计算结果的不同,尺度大的特征会起决定性作用,而尺度小的特转载 2020-11-13 15:39:09 · 497 阅读 · 0 评论 -
图像、文本、机器学习顶会
1.CVPR国际计算机视觉与模式识别会议(CVPR)是IEEE一年一度的学术性会议,会议的主要内容是计算机视觉与模式识别技术。CVPR是世界顶级的计算机视觉会议(三大顶会之一,另外两个是ICCV和ECCV),近年来每年有约1500名参加者,收录的论文数量一般300篇左右。本会议每年都会有固定的研讨主题,而每一年都会有公司赞助该会议并获得在会场展示的机会。2.ECCVECCV的全称是European Conference on Computer Vision(欧洲计算机视觉国际会议) ,两年一次.原创 2020-10-24 15:02:30 · 929 阅读 · 0 评论 -
深度学习调参 tricks 总结
寻找合适的学习率学习率是一个非常非常重要的超参数,这个参数呢,面对不同规模、不同batch-size、不同优化方式、不同数据集,其最合适的值都是不确定的,我们无法光凭经验来准确地确定lr的值,我们唯一可以做的,就是在训练中不断寻找最合适当前状态的学习率。比如下图利用fastai中的lr_find()函数寻找合适的学习率,根据下方的学习率-损失曲线得到此时合适的学习率为1e-2。推荐一篇fastai首席设计师「Sylvain Gugger」的一篇博客:How Do You Find A Good转载 2020-10-20 09:44:23 · 562 阅读 · 0 评论 -
实体识别实战一些tricks
1、基线方法: 领域字典+规则模板:优先考虑此方案是否达到预期效果,减少监督训练标注成本 BiLstm+crf:推断效率相对较高 Bert(家族)+crf:精度可能较高,但速度更慢,一般crf层学习率设置为Bert的5~10倍,加速crf层的学习(因为一般Bert微调时达到收敛轮次较少)2、样本少问题(是用绝大多数文本任务): 1、无条件文本增强: 词汇短语替换:词典、词向量、Masked LM、TF-IDF 随机噪声注入:随机插入、交换、删除...原创 2020-10-14 13:55:19 · 1418 阅读 · 0 评论 -
两年来预训练模型的技术进展(2018-2020)
转自:https://zhuanlan.zhihu.com/p/254821426Bert模型自18年10月推出,到目前为止快两年了。它卜一问世即引起轰动,之后,各种改进版本的预训练模型(Pre-Training Model, PTM)与应用如过江之鲫,层出不穷。Bert及它的继任者们,确实也不负众望,在NLP各个领域攻城略地,所向披靡,多种NLP数据集竞赛榜单,连续多年被各种新出现的预训练模型霸榜,有些榜单,个别模型已经把指标刷到超过人类。那么,在近两年的时间里,诸多改进模型中,有哪些令人印象深刻转载 2020-09-29 14:43:08 · 1183 阅读 · 0 评论 -
Python速查表(神经网络、机器学习、可视化等)
看见几个不错的速查表,分享出来:Python基础速查Numpy速查Pandas速查Scipy速查Matplotlib速查Sickit-learn速查Spark速查Keras速查TensorFlow速查数据结构线性代数原创 2020-09-16 09:27:21 · 287 阅读 · 0 评论 -
深度学习Docker镜像大全
先上链接:github:https://github.com/ufoym/deepodockerhub:https://hub.docker.com/r/ufoym/deepo可以说是非常全面了,各种框架的都有,这里主要列了包含cuda10.1与cuda10的,其他cuda版本的可以去该dockerhub中去找,或者按照github上其他版本的Dockerfile稍微修改自己构建即可。一些常用的可用镜像列表:. CUDA 10.1 / Python 3.6 CPU-only /.原创 2020-07-25 15:27:48 · 1626 阅读 · 0 评论 -
Embedding入门必读的十篇论文
第一部分 Word2vec基础1.[Word2Vec] Efficient Estimation of Word Representations in Vector Space (Google 2013)Google的Tomas Mikolov提出word2vec的两篇文章之一,这篇文章更具有综述性质,列举了NNLM、RNNLM等诸多词向量模型,但最重要的还是提出了CBOW和Skip-gram两种word2vec的模型结构。虽然词向量的研究早已有之,但不得不说还是Google的word2vec的提.转载 2020-05-29 17:04:47 · 924 阅读 · 0 评论 -
NLP论文多个领域经典、顶会、必读整理分享及相关解读博客分享
持续更新收集***1、Bert系列BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - NAACL 2019) ERNIE 2.0: A Continual Pre-training Framework for Language Understanding - arXiv 2019) StructBERT: Incorporating Language Structures into原创 2020-05-29 15:13:14 · 3009 阅读 · 1 评论 -
ACL2020信息抽取相关论文汇总
一、 Entity 相关(NER & Entity Typing & Entity Linking)主要涉及词汇增强、低资源、跨领域、跨语言、多模态、表示学习。 A Unified MRC Framework for Named Entity RecognitionXiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu and Jiwei Li https://arxiv.org/pdf/1910.11476.p.转载 2020-05-29 14:14:46 · 2340 阅读 · 1 评论 -
知识蒸馏在推荐系统的应用
随着深度学习的快速发展,优秀的模型层出不穷,比如图像领域的ResNet、自然语言处理领域的Bert,这些革命性的新技术使得应用效果快速提升。但是,好的模型性能并非无代价的,你会发现,深度学习模型正在变得越来越复杂,网络深度越来越深,模型参数量也在变得越来越多。而这会带来一个现实应用的问题:将这种复杂模型推上线,模型响应速度太慢,当流量大的时候撑不住。知识蒸馏就是目前一种比较流行的解决此类问题的技术方向。一般知识蒸馏采取Teacher-Student模式:将复杂模型作为Teacher,Student模型结转载 2020-05-29 13:56:47 · 317 阅读 · 0 评论 -
一文搞懂交叉熵
交叉熵在loss函数中使用的理解交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。以前做一些分类问题的时候,没有过多的注意,直接调用现成的库,用起来也比较方便。最近在做文本任务时,需要基于交叉熵自定义一些复杂的损失函数,发现自己对交叉熵的理解有些模糊,不够深入。参考了该博文,复制记录,在原文中做了少量更改。信息论交叉熵是信息论中的一个概念...转载 2020-05-08 14:55:00 · 1044 阅读 · 0 评论 -
2020 NLP算法面试必备!NLP预训练模型的全面总结
转自:https://zhuanlan.zhihu.com/p/115014536预训练模型(Pre-trained Models,PTMs)的出现将NLP带入了一个全新时代。2020年3月18日,邱锡鹏老师发表了关于NLP预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》[1],这是一篇全面的综述,系统...转载 2020-04-27 20:50:53 · 2181 阅读 · 0 评论 -
最漂亮的TensorFlow 2 教程及深度学习入门指南
为大家推荐一份清华大神制作的非常棒的tensorflow2教程简单粗暴TensorFlow 2.0或者https://tf.wiki/目录大纲通俗易懂的讲解代码风格一览原创 2020-03-23 12:48:34 · 2076 阅读 · 0 评论 -
《动手学深度学习》TensorFlow2.0版本
对于刚入门深度学习的童鞋,这里分享下大神们开源的将《动手学深度学习》原书中MXNet代码实现改为TensorFlow2.0实现,欢迎入坑,这是一个非常棒的入门手册,github代码。目录简介 阅读指南 1. 深度学习简介 2. 预备知识 2.1 环境配置 2.2 数据操作 2.3 自动求梯度 2.4 查阅文档 3. 深度学习基础 3.1 线性回归 3.2 ...原创 2020-03-22 15:06:54 · 2187 阅读 · 0 评论 -
最前沿的12个NLP预训练模型
1引言17年transformer被提出,18年迎来了ELMo和BERT的横空出世,19年预训练模型不出意外地开始了全面的爆发。所以,预训练模型也成为了NLPer绕不过去的一个技术栈,这篇文章将会梳理一下我学习过的12个预训练模型。这是一篇review性质的文章,跳过了一些基础的知识,可能会对一些没用过预训练模型的读者不大友好。预训练模型,在我看来,相对传统模型做的革新,主要体现在以...转载 2020-03-10 17:45:22 · 3766 阅读 · 0 评论 -
机器学习模型持续部署(基于Flask, Docker, Jenkins 和 Kubernets )
本文主要介绍部署机器学习模型的一种自动化方式,如题所示,通过Flask,Docker,Jenkins和Kubernets实现。基本原理就是通过 Flask 提供RESTful API接收客户端的 predict 请求,然后将这个服务打包成一个 docker image 便于部署和迁移,当代码或模型更新时通过 Jenkins 触发自动构建新的 docker image,而通过 kube...转载 2020-03-08 20:50:47 · 2060 阅读 · 0 评论 -
最通俗的deepFM理解及keras实现
转自:https://blog.csdn.net/songbinxu/article/details/80151814一、数据格式 在设计模型之间,首先要明确数据的格式应该是怎样的。我们假设现在要解决的问题是一个CTR预估问题,数据集是 (X,y)(X,y),每一个样本都是高度稀疏的高维向量。假设我们有两种 field 的特征,连续型和离散型,连续型 field 一般不做...转载 2020-03-08 11:37:15 · 1861 阅读 · 0 评论 -
UniLM:基于bert的Seq2Seq
论文地址:Unified Language Model Pre-training for Natural Language Understanding and Generation概述: UniLM是微软研究院在Bert的基础上,最新产出的预训练语言模型,被称为统一预训练语言模型。它可以完成单向、序列到序列和双向预测任务,可以说是结合了AR和AE两种语言模型的优点,Unilm在抽象摘要、...转载 2020-02-20 17:09:51 · 6351 阅读 · 0 评论 -
NLP预训练模型:从transformer到albert
背景语言模型是机器理解人类语言的途径,17年的transformer是语言模型摆脱rnn,lstm建模的一次尝试,后续的bert则是大力出奇迹的代表,用更大的模型和更多的数据将nlp任务的benchmark提高了一大截。gpt在auto-regressive的路上一路走到黑,而xlnet将gpt和bert的优点结合在了一起,然后用更更大的数据吊打了bert。没过多久,bert的增强版robert...转载 2020-01-14 14:33:04 · 409 阅读 · 0 评论 -
智能聊天机器人平台的架构与应用
转自:https://mp.weixin.qq.com/s/c5uXsPIwFzoMwqmG2-JUPg导读:随着“中台”战略的提出,目前宜信中台建设在思想理念及架构设计上都已经取得了很多成果。宜信是如何借助中台化的思想打造“AI中台”及相关的智能产品呢?本次直播,宜信科技中心AI中台团队负责人王东老师分享了宜信AI中台的具体实施路径,并重点介绍了AI中台的智能产品——智能聊天机器人平台,包括...转载 2019-12-25 09:47:14 · 4170 阅读 · 0 评论 -
NLP预训练模型:从transformer到albert
背景语言模型是机器理解人类语言的途径,17年的transformer是语言模型摆脱rnn,lstm建模的一次尝试,后续的bert则是大力出奇迹的代表,用更大的模型和更多的数据将nlp任务的benchmark提高了一大截。gpt在auto-regressive的路上一路走到黑,而xlnet将gpt和bert的优点结合在了一起,然后用更更大的数据吊打了bert。没过多久,bert的增强版rober...转载 2019-12-25 09:00:33 · 406 阅读 · 0 评论 -
基于yovov3+deep_sort的多类多目标检测与跟踪(计数)
对于yovov3+deep_sort的原理就不再详细介绍了。对视频中的不同种类的多个物品进行跟踪(计数),视频截图效果如下:实现链接 Github原创 2019-12-24 20:45:02 · 3828 阅读 · 7 评论 -
文本图像数据集合、打标工具
集大家之所长汇集于此,希望对有需要的你能有所帮助。一、打标签工具(1)labelimg/labelme这两款工具简便易行,前者主要用于对目标进行大致的标定,用于常见的框选标定,后者主要用于较为细致的轮廓标定,多用于mask rcnn等。安装也是很方便的,直接在终端下用pip install labelimg即可(至于labelme,需要先安装pyqt,所以先pip install py...转载 2019-12-24 10:02:19 · 5348 阅读 · 0 评论 -
形象理解tf.transpose()是如何进行维度变化的
虽然用了很久的这个函数,只记得住维度的交换,但经常忘记转换前后tensor的具体变化,再次记录下。tf.transpose()作为数组的转置函数,原型如下:def transpose(a, perm=None, name="transpose"):"""Transposes `a`. Permutes the dimensions according to `perm`a 表示是传...原创 2019-12-10 20:38:24 · 596 阅读 · 0 评论 -
基于时空信息的交通流量预测方法汇总
主要收集了基于时空(欧式与非欧空间)交通流量预测最新方法部分论文下载交通流量预测算法调研 算法名称 算法基本原理 考虑维度 应用场景 是否有开源实现 链接 实验数据集 期刊 基于时间图卷积网络(T-GCN)交通流预测(A Temporal Graph Convolutional Network for Traffic Prediction ...原创 2019-12-07 17:41:55 · 5690 阅读 · 2 评论 -
交通预测-T-GCN-时间图卷积网络代码及原理
实现代码github最通俗易懂的图神经网络(GCN)原理详解1、文章信息《T-GCN: A Temporal Graph Convolutional Network for Traffic Prediction》2、摘要为了同时捕获空间和时间依赖关系,提出了一个新的神经网络方法,时间图卷积网络模型 (T-GCN),将图卷积和门控循环单元融合起来。GCN 用来学习复杂的拓扑结构...原创 2019-12-05 17:03:59 · 14736 阅读 · 16 评论 -
基于Adversarial Attack的问题等价性判别比赛baseline
比赛地址:https://biendata.com/competition/2019diac/详见github数据处理:# -*- coding: utf-8 -*-"""# @Time : 2019/11/28 17:46# @Author : xiaoxiong# @Email : xyf_0704@sina.com# @File : data_pr...原创 2019-12-03 19:18:11 · 627 阅读 · 0 评论 -
NLP相关任务合集代码及解决思路
NLP相关任务合集(持续更新中…)Introduction本项目旨在收集一些NLP相关的任务实现示例,为后续相关任务实现提供一些参考,仅对NLP入门者有一定的参考意义。一些竞赛的解决方案文本相似度匹配关系抽取(三元组抽取) relation_extract基于bert关系抽取基于dgcnn(膨胀门卷积)关系抽取文本分类 text_classifier...原创 2019-12-03 15:18:42 · 414 阅读 · 0 评论 -
各种中文词向量集合
中文词向量集合https://github.com/Embedding/Chinese-Word-Vectors Word2vec / Skip-Gram with Negative Sampling (SGNS) Corpus Context Features Word ...原创 2019-12-03 11:15:05 · 912 阅读 · 0 评论 -
NLP任务一些经验总结
记录下NLP任务一些经验总结。输入1、字向量编码2、词向量编码(如果可以根据语料自己训练)3、位置编码,相对位置编码或者w2v思路的位置编码4、对于字向量与词向量如果要采用相加的形式组合在一起,可以把词向量重复n词,n表示的是当前词有多少个字,可以直接保证维度一致序列标注问题1、采用BIO做数据标注2、半指针-半标注,分别预测开始位置与结束位置3、多实体的可将开始位置与结束位...原创 2019-11-06 16:43:10 · 988 阅读 · 0 评论 -
BERT的[CLS]有什么用
[CLS]就是classification的意思,可以理解为用于下游的分类任务。主要用于以下两种任务:单文本分类任务:对于文本分类任务,BERT模型在文本前插入一个[CLS]符号,并将该符号对应的输出向量作为整篇文本的语义表示,用于文本分类,如下图所示。可以理解为:与文本中已有的其它字/词相比,这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息。语句对分类任务:该任...原创 2019-10-19 17:47:13 · 41624 阅读 · 19 评论 -
深度学习中Mask的基本原理
Mask的主要目的:排除在padding后对后续处理带来的影响!mask是伴随这padding出现的,因为神经网络的输入需要一个规整的张量,而文本通常都是不定长的,这样一来就需要裁剪或者填充的方式来使得它们变成定长,按照常规习惯,我们会使用0作为padding符号。这里用简单的向量来描述padding的原理。假设有一个长度为5的向量:x=[1,0,3,4,5]x=[1,0,3,4,5...转载 2019-10-15 17:26:24 · 5931 阅读 · 0 评论 -
Keras 学习笔记1
之前学习使用tensorflow的时候,多多少少也用过些keras的模型,但一直未去单独的了解学习过,打算快速学习一边keras的基本用法,以便后续练习模型使用1、Keras的设计原则是用户友好:Keras是为人类而不是天顶星人设计的API。用户的使用体验始终是我们考虑的首要和中心内容。Keras遵循减少认知困难的最佳实践:Keras提供一致而简洁的API, 能够极大减少一般应用下用户的工作量...原创 2018-09-22 16:09:28 · 326 阅读 · 0 评论 -
MLflow安装后UI访问问题
问题:在虚拟机centos环境中安装了mlflow,代码能正常运行,但在windows上一直访问不了UI http://虚拟机ip:5000后面浏览https://github.com/mlflow/mlflow/issues受到启发,自己在同一台虚拟机上启动了一个tracking server解决了问题。环境:MLflow安装环境:centos6.8 Anaconda3-5.2...原创 2018-11-17 18:04:44 · 3322 阅读 · 2 评论 -
Rasa聊天机器人(二):训练及构建
本文只要介绍了基于Rasa Core及Rasa NLU构建聊天机器人。代码详见:https://github.com/xiaoxiong74/rasa_chatbotIntroduction这个聊天机器人demo是用开源NLU框架rasa-nlu完成意图识别与实体识别,用rasa-core完成对话管理和与对话生成。本demo完成的对话主要有:1: 办理套餐、查询话费和流量(会话场...原创 2019-03-02 15:02:12 · 8202 阅读 · 11 评论 -
Tensorflow 报错illegal instruction (core dumped) 解决版本
很多童鞋安装tensorflow 1.5以上版本后,在导入tensorflow的时候报如下错:>>> import tensorflow as tfIllegal instruction (core dumped)网上找了大多数解决办法都是将版本回退到1.5,但不可能一直用旧版本,这个问题也解决了很久。解释的原因也很多,当然主要原因的电脑配置环境,比如没有SSE4....原创 2019-03-07 15:22:45 · 5213 阅读 · 8 评论 -
Rasa聊天机器人(一):简介及环境搭建
基本概念Rasa 是一个基于机器学习实现多轮对话的开源机器人框架,其中包含两个模块Rasa_core:github与Rasa_nlu:githubRasa-Nlu 是自然语言理解模型集合,主要包括意图识别,实体识别,它会把用户的输入转换为结构化的数据Rasa-Core 是一个对话管理的平台,它的工作是决定接下来机器该返回什么内容给用户,即实现与用户的交互逻辑开发语言:Python模型...原创 2019-03-07 15:40:58 · 11210 阅读 · 9 评论