- 博客(65)
- 收藏
- 关注
RSS订阅
翻译 深度解析BERT, ELMo和NLP如何破解迁移学习
2018年是机器学习模型处理文本(更准确地说，是自然语言处理或简称NLP)的转折点。我们对如何以一种最能捕捉潜在含义和关系的方式最好地表示单词和句子的概念理解正在迅速发展。此外，NLP社区已经推出了非常强大的组件，您可以免费下载并在自己的模型和管道中使用这些组件(它被称为NLP’s ImageNet moment,，指的是多年前类似的开发如何加速(ULM-FiT has nothing to d...
2019-07-25 15:24:37
456
翻译 传统的seq2seq模型与seq2seq with attention的模型原理细节解析
seq2seq（序列对序列），是一种深度学习模型，在机器翻译、文本摘要和图像字幕等方面取得了很大的成功。谷歌翻译从2016年底开始在生产中使用这种模型，是基于此基础上的Seq2seq Models With Attention。seq2seq:上下文向量成为这类型模型的瓶颈，这给模型处理长句带来了挑战。Bahdanau和Luong等人，2015年提出了一个解决方案，介绍并改进了一种称...
2019-05-29 14:51:03
2022
翻译 一文详解transformer（Attention Is All You Need）原理
谈起自然语言，就不得不说到现在大火的bert以及openai gpt-2,但是在理解这些模型之前，我觉得首先应该了解transformer，因本人水平有限，在看了transformer的论文之后也一知半解，在分享今天的知识之前，我们先简单了解一下seq2seq首先要说到seq2seq的发展历史，从单纯的RNN-RNN到LSTM-LSTM,再到BiLSTM-BiLSTM或者BiGRU-BiGRU...
2019-05-27 16:21:48
6427
4
原创 熟练掌握pandas的各种操作
pandas是python里面一款非常优秀的做数据分析与挖掘的包，也是所有的数据分析和挖掘从业人员最需要掌握的基本包下面介绍pandas的基本操作import pandas as pdimport numpy as np1. 读取数据# 具体参数在spyder可以快捷键ctrl+i,在jupyter notebook可以快捷键shift+tabdata=pd.read_exce...
2019-05-20 14:02:54
1050
原创 windows下NEO4J安装及报错解决
最近在看chatbot方面的知识，同时了解到知识图谱需要连接到图数据库，所以开始了解图数据库neo4j，今天讲一下neo4j数据库的安装，以及踩到的坑。下面根据我安装成功的经验，一步步的仔细讲解在windows下的安装1.安装java,地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html按默认路径安...
2019-03-29 17:28:00
5308
原创 关于自然语言的bert论文和推荐kashgari库
2018年底最近谷歌发布了基于双向 Transformer 的大规模预训练语言模型，该预训练模型能高效抽取文本信息并应用于各种 NLP 任务，该研究凭借预训练模型刷新了 11 项 NLP 任务的当前最优性能记录。如果这种预训练方式能经得起实践的检验，那么各种 NLP 任务只需要少量数据进行微调就能实现非常好的效果，BERT 也将成为一种名副其实的骨干网络。关于bert开源的github地址h...
2019-03-11 22:44:46
4510
6
原创 anaconda安装包会出现的问题以及多种解决方案
Anaconda是一个开源的Python发行版本，其包含了conda、Python、pandas、numpy、scipy等180多个科学包及其依赖项。因为包含了大量的科学包，是做数据分析和挖掘的数据科学家非常受欢迎的一款软件。但是在安装很多包的时候有可能会遇到多种问题，现在提供安装包的多种方法供其选择。(这里针对windows系统）1.打开cmd,输入pip install package...
2019-03-08 10:59:09
10178
2
原创 transformer的bert结构思维导图
Bertmodel## reference: transformers.modeling_bert.BertModel class BertModel(BertPreTrainedModel): def __init__(self, config): self.embeddings = BertEmbeddings(config) self.encoder = BertEncoder(config) self.pooler = Bert..
2021-02-07 16:19:05
1128
原创 2020年末总结和自我剖析
2020年末总结我不是一个有仪式感的人，但碍于世俗三十而立的观念，明年的我就是虚岁三十了，不得不感叹时间过得好快。现在想过好每一天，对时间的感觉也愈加强烈，我想时间的意义无非是让我们记住一些事情，也让我们忘记一些事情。所以想在年末纪念一些2020的那些事。年初的疫情，本不想谈这个话题，但是无奈这个印记不会随着你不谈论就会没有，千言万语汇成一句，希望大家都能健康，都能各司其职，在各自岗位做好自己。国内的科技强国，北斗导航，发射火星探测器，5g等等(当然还有许多许多)，但同时也有美国的科技制
2020-12-31 21:42:33
355
2
原创 python pyecharts绘制桑基图（Sankey ）
桑基图（Sankey diagram），即桑基能量分流图，也叫桑基能量平衡图。它是一种特定类型的流程图，图中延伸的分支的宽度对应数据流量的大小，通常应用于能源、材料成分、金融等数据的可视化分析。因1898年Matthew Henry Phineas Riall Sankey绘制的“蒸汽机的能源效率图”而闻名，此后便以其名字命名为“桑基图”利用python的pyecharts绘制桑基图1.node（所有节点）#形如 {'name': ' '}2.link#形如 {'so...
2020-06-19 00:15:54
9212
2
原创 pca数据降维和k-means聚类
pca和k-means属于机器学习中无监督学习，PCA（principal components analysis）即主成分分析技术，又称主分量分析。主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用于减少数据集的维数，同时保持数据集的对方差
2020-06-19 00:03:09
4535
原创 收藏ai资料有关nlp和cv(一直更新)
首先说点，2020年开年不顺，疫情让很多人失去了生命，在此感谢很多医务工作者付出的努力，甚至付出了生命，是你们的负重前行，保我们健康无患。生活还得继续，每个人在自己的岗位做好，就是对社会最大的贡献。每个人都得努力，多学习，多看书（这话对自己说的，虽然很少做到）人生需要积极向上。————————————————————————————————————————————————关于B...
2020-05-18 11:05:24
310
原创 再见2019，你好2020
即将迈入2020，元旦的钟声马上要敲响，转眼也到了而立之年，再回头看看18岁的自己渐渐走远，模样越来越模糊。2019有得有失， 有喜有怒， 有乐有伤， 总之对得起自己。2019的自己开始喜欢用文字记录下自己的所想所得，喜欢这样的感觉。2019辛苦了！2020要加油！从今天开始，做一个幸福的人，好好吃饭，好好睡觉。从今天开始，关心亲人和朋友，告诉他们你的幸福和我相关...
2019-12-27 19:29:07
363
5
原创 python连接rabbitmq
rabbitmq官方python连接具体还是看官方文档，这是一个小demo接受脚本import pikaclass queue(): def __init__(self): self.MQ_CONFIG = { "host": "***.**.***.***", "port": '5672', #注意def...
2019-11-30 15:42:15
438
原创 python连接各种数据库(建议收藏)
连接mysql# 方法一import pymysql.cursorsimport pandas as pd# Connect to the databasedef get_mysql(): config = { 'host': '***.***.*.**', # ip 地址 'port': 3306, # port default ...
2019-11-30 15:21:58
509
原创 pandasql用sql一样的操作DataFrame
安装：pip install pandasqlfrom pandasql import sqldfpysqldf = lambda q:sqldf(q,globals())q=""" SELECT * from df"""data_end=pysqldf(q)
2019-10-15 16:23:33
494
原创 np.triu()的函数用法
Signature: np.triu(m, k=0)Docstring:Upper triangle of an array.(返回函数的上三角矩阵)np.triu([[1,2,3],[4,5,6],[7,8,9],[10,11,12]], -1)>>>array([[ 1, 2, 3], [ 4, 5, 6], [ 0, 8,...
2019-09-12 15:24:13
20336
7
原创 基于PyTorch的深度学习入门教程_sequence_models_tutorial
摘要Sequence Models and Long-Short Term Memory Networks===================================================序列模型和LSTM网络我们已经看到了各种前馈网络，也就是说，网络根本没有维护任何状态。这可能不是我们想要的行为。序列模型是NLP的核心:它们是在你的输入之间存在某种依赖关系的模型...
2019-09-03 17:24:44
315
原创 pytorch 之 __call__, __init__,forward
在学习pytorch之前，你会看到这样一段代码：import torchimport torch.nn as nnimport torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() #1个输入图像通道，6个...
2019-08-30 16:43:01
2307
原创 浅谈nlp知识点
深度学习主要在自然语言处理以及计算机视觉发挥着重大的作用，今天主要结合工作谈一下对于自然语言处理方面的理解，同时也对于自己的学习总结有一个很好的梳理作用。 自然语言处理包括但不仅限于文本分类，情感分析，实体识别和抽取,词性标注等等。1.分词jieba（结巴）是一个强大的分词库，完美支持中文分词。可以自己导入分词词典，也可以做词性标注，对于未登录词，使用HMM隐...
2019-08-26 14:15:53
497
原创 机器学习深度学习开源资源推荐
如何更好的学习机器学习以及深度学习，有很多的书籍和资料，比如吴恩达的机器学习（网易云课堂上可以免费看），周志华的西瓜书以及深度学习花书等等，而且以下开源资料也可供君学习参考。1. TensorFlowGitHub项目地址：https://github.com/tensorflow/tensorflowTensorFlow是谷歌发布的第二代机器学习系统。2. Scikit-Lea...
2019-08-20 11:19:26
425
原创 bert获取词向量做textcnn文本分类
BERT其中的一个重要作用是可以生成词向量下面介绍获取词向量的方法获取BERT词向量的时候用到了肖涵博士的bert-as-service，具体使用方式如下。环境要求：python版本>=3.5,tensorflow版本>=1.10相关包的安装：pip installbert-serving-serverpip installbert-serving-cli...
2019-08-13 15:06:59
12997
11
原创 利用word2vec词向量做textcnn的文本分类
思路如下：读取数据 数据的y值处理 把文本做word2vec模型 文本分词 把分完的词做word2vec向量映射 建立神经网络模型，并训练 预测直接上代码：import pandas as pdimport numpy as npimport jiebaimport reimport multiprocessingfrom multiprocessing i...
2019-08-07 11:24:00
8829
6
转载 HMM,MEMM,CRF模型的比较
HMM,MEMM,CRF模型的比较这三个模型都可以用来做序列标注模型。但是其各自有自身的特点，HMM模型是对转移概率和表现概率直接建模，统计共现概率。而MEMM模型是对转移 概率和表现概率建立联合概率，统计时统计的是条件概率。MEMM容易陷入局部最优，是因为MEMM只在局部做归一化，而CRF模型中，统计了全局概率，在 做归一化时，考虑了数据在全局的分布，而不是仅仅在局部归一化，这样就解决了ME...
2019-08-06 15:06:57
1728
转载 YAML 语言教程
转载自：阮一峰YAML 语言教程编程免不了要写配置文件，怎么写配置也是一门学问。YAML 是专门用来写配置文件的语言，非常简洁和强大，远比 JSON 格式方便。本文介绍 YAML 的语法，以JS-YAML的实现为例。你可以去在线 Demo验证下面的例子。一、简介YAML 语言（发音 /ˈjæməl/ ）的设计目标，就是方便人类读写。它实质上是一种通用的数据串行化格式。...
2019-08-01 11:14:10
202
原创 Jinja2模块简介
前言Jinja2 使用一个名为Environment的中心对象。这个类的实例用于存储配 置、全局对象，并用于从文件系统或其它位置加载模板。即使你通过:class:Template类的构造函数用字符串创建模板，也会为你自动创建一个环境，尽管是共享的。大多数应用在应用初始化时创建一个Environment对象，并用它加载模板。 在某些情况下，如果使用多份配置，使用并列的多个环境无论如...
2019-07-29 15:42:21
1171
原创 贝叶斯算法（关于先验概率和后验概率的理解）
先验概率与后验概率的定义先验概率(prior probability)是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率（由因到果）后验概率是信息理论的基本概念之一。在一个通信系统中，在收到某个消息之后，接收端所了解到的该消息发送的概率称为后验概率。后验概率的计算要以先验概率为基础。后验概率是指在得到"结果"的信息后重新修正的概率，如贝叶斯公...
2019-07-19 14:14:56
7845
转载 用gensim学习word2vec
转载自刘建平Pinard博客园word2vec的两种模型CBOW和Skip-Gram，以及两种解法Hierarchical Softmax和Negative Sampling，这里我们就从实践的角度，使用gensim来学习word2vec。1. gensim安装与概述 gensim是一个很好用的Python NLP的包，不光可以用于使用word2vec，还有很多其他的API可以用...
2019-07-17 09:50:56
364
原创 python读取dat文件
读取dat文件本想像这样df_train=pd.read_table(r'C:\Users\admin\Desktop\game_test\game\apptype_train.dat',names=['s_no','deal_code','text'],sep='\t',encoding='utf-8')不是报错就是文件读取数据量可能少了像这样读取不会有问题的f=open(...
2019-07-13 20:56:13
55485
6
原创 numpy多维数组取最大值的索引及前topk最大值的索引
主要介绍numpy的argmax，argsort函数，以及heapq库# 返回最大值的索引a = np.array([[6.8284258e-09, 5.7629350e-09, 7.4942248e-09,9.5846470e-11, 5.4229814e-14, 8.6114553e-15], [1.1742729e-09, 9.2132124e-10,...
2019-07-13 20:39:42
15950
2
原创 文件导入NEO4J图数据库
首先将文件放在 D:\neo4j-community-3.5.3\import 目录下数据格式如下wb phone zhu yiben ********* ****** 1 0 导入语句：LOAD CSV WITH HEADERS FROM "file:///family_wb_0402.csv" AS line MERGE (p:w...
2019-07-03 16:44:38
1529
原创 在虚拟环境下安装python包
安装anaconda3之后，安装pycharm,创建一个project那么一个project下的虚拟环境安装python包方法进入该虚拟环境下的Scripts,找到activate.bat文件，如图所示然后就进入虚拟环境，安装包pip install xxx具体安装包的详细方式请查看anaconda安装包会出现的问题以及多种解决方案...
2019-07-03 12:57:03
2706
原创 详细理解pytorch的lstm参数
lstm(*input, **kwargs)将多层长短时记忆(LSTM)神经网络应用于输入序列。参数:input_size:输入'x'中预期特性的数量hidden_size:隐藏状态'h'中的特性数量num_layers:循环层的数量。例如，设置' ' num_layers=2 ' '意味着将两个LSTM堆叠在一起，形成一个'堆叠的LSTM '，第二个LSTM接收第一个LSTM的输...
2019-07-02 14:24:13
4191
原创 基于PyTorch的深度学习入门教程_transfer_learning_tutorial
摘要"""迁移学习教程= = = = = = = = = = = = = = = = = = = = = = = = = =**作者**:' Sasank Chilamkurthy ' _在本教程中，您将学习如何使用迁移学习来训练您的网络。您可以通过cs231n notes <https://cs231n.github.io/transfer-learning/>阅读更多...
2019-06-28 16:55:29
321
原创 keras的整体架构
keras 源码的整体组成架构│ activations.py│ callbacks.py│ constraints.py│ initializations.py│ losses.py│ metrics.py│ models.py│ objectives.py│ optimizers.py│ regularizers.py│ __init__.p...
2019-06-27 17:21:35
742
原创 Numpy 中clip函数的用法
np.clip(a, a_min, a_max, out=None)a : array_like>>> a = np.arange(10)>>> np.clip(a, 1, 8)array([1, 1, 2, 3, 4, 5, 6, 7, 8, 8])>>> aarray([0, 1, 2, 3, 4, 5, 6, 7, 8,...
2019-06-26 13:30:23
716
转载 比Pytorch Hub更早？三分钟带你弄懂PaddleHub！
作者：Charlotte77微信公众号：我爱PaddlePaddleHub是什么？Hub本意是中心，docker有docker Hub，大家可以把自己创建的镜像打包提交到docker hub上，需要的时候再pull下来，非常方便，那么模型是不是也可以这样玩呢？完全可以啊！很多时候我们不需要从头开始训练模型，如果有预训练好的模型，直接做迁移学习就可以，但是传统的方式基本上都需要从各个官网上去...
2019-06-21 10:40:55
1627
原创 基于PyTorch的深度学习入门教程_nlp_advanced_tutorial
提高版:做动态决策和Bi-LSTM CRF= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =动态和静态深度学习工具包--------------------------------------------Pytorch是一个...
2019-06-20 10:50:29
430
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人