- 博客(56)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 基于Transformers的自然语言处理入门【十】-机器翻译
基于Transformers的自然语言处理入门【十】-机器翻译1 机器翻译背景2 机器翻译模型训练1 机器翻译背景机器翻译，是指使用计算机将一种自然语言转换为另一种自然语言的过程。这里，自然语言是指日常使用的人类语言（如中文、英语），区别于人工为特定目的创造的语言（如计算机编程语言）。机器翻译是自然语言处理（NLP）的一个研究分支，是人工智能的终极目标之一，具有重要的科学研究价值。2017年，谷歌在论文《Attention Is All You Need》中提出了Transformer模型。这种基于
2021-09-30 09:51:00
1074
原创 基于Transformers的自然语言处理入门【九】-Transformers解决抽取式问答
基于Transformers的自然语言处理入门【九】-Transformers解决抽取式问答1 抽取式问答任务概念2 数据预处理3 微调模型1 抽取式问答任务概念给定一个问题和一段文本，从这段文本中找出能回答该问题的文本片段（span）。具体可详见下图：2 数据预处理在将数据喂入模型之前，我们需要对数据进行预处理。预处理的工具叫Tokenizer。Tokenizer首先对输入进行tokenize，然后将tokens转化为预模型中需要对应的token ID，再转化为模型需要的输入格式。为了达到数据
2021-09-27 11:13:41
451
原创 基于Transformers的自然语言处理入门【八】-Transformers解决序列标注任务
基于Transformers的自然语言处理入门【八】-Transformers解决序列标注任务1 序列标注概念2 常见的token级别分类任务3 预处理数据4 微调预训练模型1 序列标注概念序列标注，通常也可以看作是token级别的分类问题：对每一个token进行分类。token级别的分类任务通常指的是为文本中的每一个token预测一个标签结果。2 常见的token级别分类任务NER（Name-entity recognition 名词-实体识别）分辨出文本中的名词和实体（人名、机构名、地名…）
2021-09-26 19:16:51
601
原创 基于Transformers的自然语言处理入门【七】-Transformers解决文本分类任务、超参搜索
基于Transformers的自然语言处理入门【七】-Transformers解决文本分类任务、超参搜索1 数据预处理2 微调预训练模型3 超参数搜索1 数据预处理在数据喂入模型之前，需要对数据进行预处理，预处理的工具叫Tokenizer。Tokenizer首先对输入进行tokenize，然后将tokens转化为预模型中需要对应的token ID，再转化为模型需要的输入格式。为了达到数据预处理的目的，我们使用AutoTokenizer.from_pretrained方法实例化我们的tokenizer，
2021-09-24 14:19:49
316
原创 基于Transformers的自然语言处理入门【六】-Bert应用模型说明
基于Transformers的自然语言处理入门【六】-Bert应用模型说明1 Bert模型2 Bert模型的应用3 Bert训练和优化1 Bert模型Bert预训练任务包含两个：Masked Language Model（MLM）：在句子中随机用[MASK]替换一部分单词，然后将句子传入 BERT 中编码每一个单词的信息，最终用[MASK]的编码信息预测该位置的正确单词，这一任务旨在训练模型根据上下文理解单词的意思；Next Sentence Prediction（NSP）：将句子对 A 和 B
2021-09-22 13:48:37
260
原创 基于Transformers的自然语言处理入门【五】-Bert应用
基于Transformers的自然语言处理入门【五】-Bert应用1 Bert基本的结构1.1 BERT Tokenization分词模型（BertTokenizer）1 Bert基本的结构HuggingFace 是一家总部位于纽约的聊天机器人初创服务商，很早就捕捉到 BERT 大潮流的信号并着手实现基于 pytorch 的 BERT 模型。这一项目最初名为 pytorch-pretrained-bert，在复现了原始效果的同时，提供了易用的方法以方便在这一强大模型的基础上进行各种玩耍和研究。随着使用
2021-09-21 20:41:15
234
原创 基于Transformers的自然语言处理入门【四】-GPT
基于Transformers的自然语言处理入门【四】-GPT1 GPT模型2 语言模型3 基于Transformer的语言模型4 GPT2详解1 GPT模型OpenAI提出的GPT-2模型(https://openai.com/blog/better-language-models/)能够写出连贯并且高质量的文章，比之前语言模型效果好很多。GPT-2是基于Transformer搭建的，相比于之前的NLP语言模型的区别是：基于Transformer大模型、，在巨大的数据集上进行了预训练。2 语言模型
2021-09-17 16:04:27
860
原创 基于Transformers的自然语言处理入门【三】-Bert
基于Transformers的自然语言处理入门【三】-Bert1 Bert模型2 模型结构3 预训练任务：Masked Language Model1 Bert模型2018年是自然语言处理技术的一个转折点，运用深度学习技术处理文本的能力通过预训练模型被极大的发挥了出来。同时，伴随着NLP开源社区的贡献，很多强大的模型被封装成组件，让NLP初学者也有机会在各种NLP任务上取得非常好的效果。在众多NLP预训练模型里，最经典的基本就是BERT和GPT了。BERT在2018年被提出，BERT模型一出现就打破了
2021-09-17 10:57:18
270
原创 基于Transformers的自然语言处理入门【二】-Transformer相关原理
基于Transformers的自然语言处理入门（二）1 Tansformer相关原理1.1 seq2seq框架三级目录1 Tansformer相关原理对于Transformer相关学习，我们的学习路径：Attention->Transformer-Bert-NLP。Attention出现的原因是什么：基于循环神经网络（RNN）一类的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行attention有助于提升RNN的模型效果。1.1 seq2seq框架seq2se
2021-09-15 17:09:07
372
原创 基于Transformers的自然语言处理入门【一】
基于Transformers的自然语言处理入门（一）1 自然语言处理（NLP）2 基于Transformers的自然语言处理1 自然语言处理（NLP）自然语言处理( Natural Language Processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识
2021-09-13 10:50:06
370
原创 2021-09-06
支持向量机1 支持向量机（SVM）2 软间隔与正则化3 支持向量回归（SVR）1 支持向量机（SVM）分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。支持向量机就是找到一个超平面，能够区分不同类别的样本，最大化间隔。支持向量机中求解过程中转换成了对偶问题进行求解，中间的函数涉及到核函数。只要一个对称函数所对应的核矩阵半正定，就能作为核函数使用。任何一个核函数都隐式地定义了一个称为“再生核希尔伯特空间”。2 软间隔与正则化在现实人物中往往很难确定合适的核函数
2021-09-06 15:36:53
83
原创 神经网络相关知识点
神经网络1 神经元模型2 感知机与多层网络3 误差逆传播算法4 全局最小与局部极小5 其他常见神经网络6 深度学习1 神经元模型神经网络中最基本的成分是神经元（neuron）模型。在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位，如果某神经元的电位超过了一个阈值，就会被激活，向其他神经元发送化学物质。上述神经元模型，我们很容易看出是通过激活函数激活了才会发送化学物质，常用的激活函数包括，阶跃函数、Sigmoid函数；但阶跃函数具有不
2021-09-02 14:24:47
1370
原创 机器学习之线性模型
机器学习之线性模型1. 线性模型2. 对数几率模型（Logistic回归）3. 线性判别分析（LDA）4. 多分类学习5. 类别不平衡问题1. 线性模型线性模型是一类统计模型的总称，包括线性回归模型，方差分析模型，常应用于生物、医学、经济、管理。一般线性模型或多元回归模型是一个统计线性模型，公式：Y=WX+U，说白了就是用线性的函数去模拟样例的分布，在整个模拟过程中，我们希望线性模型的MSE最小，关于线性模型的MSE具体可详见另一篇文章：回归评估参数在模拟过程中存在一元线性函数，还有多元线性函数，对
2021-08-23 14:00:57
1283
原创 机器学习基础概念
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-08-16 13:57:09
160
原创 DDPG 算法
DDPG 算法1 离散动作 vs. 连续动作离散动作与连续动作是相对的概念，一个是可数的，一个是不可数的。在 CartPole 环境中，可以有向左推小车、向右推小车两个动作。在 Frozen Lake 环境中，小乌龟可以有上下左右四个动作。在 Atari 的 Pong 游戏中，游戏有 6 个按键的动作可以输出。但在实际情况中，经常会遇到连续动作空间的情况，也就是输出的动作是不可数的。比如说推小车力的大小、 选择下一时刻方向盘的转动角度或者四轴飞行器的四个螺旋桨给的电压的大小等等。对于这些连续
2020-11-06 16:30:26
11558
1
原创 稀疏奖励及模仿学习
稀疏奖励及模仿学习1 稀疏奖励关键词reward shaping： 在我们的agent与environment进行交互时，我们人为的设计一些reward，从而“指挥”agent，告诉其采取哪一个action是最优的，而这个reward并不是environment对应的reward，这样可以提高我们estimate Q-function时的准确性。ICM（intrinsic curiosity module）： 其代表着curiosity driven这个技术中的增加新的reward function
2020-11-05 16:26:21
148
原创 DQN 算法及 Actor-Critic 算法
DQN 算法及 Actor-Critic 算法1 关键概念DQN(Deep Q-Network)： 基于深度学习的Q-learning算法，其结合了 Value Function Approximation（价值函数近似）与神经网络技术，并采用了目标网络（Target Network）和经历回放（Experience Replay）的方法进行网络的训练。State-value Function： 本质是一种critic。其输入为actor某一时刻的state，对应的输出为一个标量，即当act
2020-11-03 11:16:07
1042
原创 强化学习基础知识
强化学习基础知识1. 概念强化学习四要素：状态(state)、动作(action)、策略（policy）、奖励(reward)。强化学习就是考虑的是智能体（Agent）与环境（Environment）的交互问题：这里是引用智能体处在一个环境中，每个状态为智能体对当前环境的感知；智能体只能通过动作来影响环境，当智能体执行一个动作后，会使得环境按某种概率转移到另一个状态；同时，环境会根据潜在的奖赏函数反馈给智能体一个奖赏。— 周志华 《机器学习》强化学习的目标是找到一个最优策略，使智能体获得尽
2020-10-20 20:28:54
1574
原创 模型集成（模型融合）
1 模型融合的方式平均：简单平均法加权平均法投票：简单投票法加权投票法综合：排序融合log融合stacking:构建多层模型，并利用预测结果再拟合预测。blending：选取部分数据预测训练得到预测结果作为新特征，带入剩下的数据中预测。boosting/bagging2 详述2.1 stacking将若干基学习器获得的预测结果，将预测结果作为新的训练集来训练一个学习器。如下图 假设有五个基学习器，将数据带入五基学习器中得到预测结果，再带入
2020-09-27 16:04:44
825
原创 模型调优过程
在特征工程上进行差不多的时候，接下来考虑更多的是模型调优，一般会先进行模型选择，在模型选择过程中，根据特征和数据情况，选择合适的基础模型，在基础模型上再进行参数寻优的过程，一般模型的准确率和在参数寻优的准确率上，差别一般是2个点左右，不过参数寻优过程中，寻优的成本会很大。1.模型学习相应模型的学习内容：逻辑回归模型决策树模型GBDT模型XGBoost模型LightGBM模型Catboost模型时间序列模型RNNLSTM推荐教材《机器学习》《统计学习
2020-09-22 10:20:25
989
原创 金融风控相关的EDA
EDA目的1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模.2.了解变量间的相互关系、变量与预测值之间的存在关系。3.为特征工程做准备EDA相关内容数据总体了解：读取数据集并了解数据集大小，原始特征维度；通过info熟悉数据类型；粗略查看数据集中各特征基本统计量；缺失值和唯一值：查看数据缺失值情况查看唯一值特征情况深入数据-查看数据类型类别型数据数值型数据离散数值型数据连续
2020-09-17 15:17:25
206
原创 金融风控相关的知识点
金融风控相关的知识点对于金融风控预测类常见的评估指标如下KS(Kolmogorov-Smirnov)KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。K-S曲线与ROC曲线类似，不同在于ROC曲线将真正例率和假正例率作为横纵轴K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。公式如下：KS=max(TPR-FPR)KS不
2020-09-15 21:00:01
473
原创 时序模型的搭建和数据挖掘内容
1 时序模型时序规则相关内容常见的时序模型2 时序特征时序特征工程3 模型训练和预测模型训练和验证4 相关数学知识点概率论相关知识点
2020-08-25 11:23:24
111
原创 机器学习中模型训练与验证
1 模型训练、预测及线下验证数据划分：训练集、线下验证集、线下测试集、线上测试集无时序的数据集：简单划分、交叉验证划分等有时序的数据集：需考虑时序、nested交叉验证划分等模型选择依据在验证集上的效果选择除了关注效果的均值，还要关注稳健性还需考虑线上效果；可将线上效果视为一折数据参数调优不建议将精力放在参数调优上；容易过拟合大体的设置参数即可应将精力重点放在特征工程；其次是模型融合2 常用的回归模型模型参数的设置不建议将精力放在调参；黔驴技穷时再调参
2020-08-24 17:15:57
605
原创 特征工程的建立过程
1 特征工程1.1 了解特征工程数据挖掘“二八原则”80%的精力 => 选取特征20%的精力 => 模型融合等基于数据分析与探索提取潜在有价值的特征特征工程重要性特征越好，模型的性能越出色特征越好，构建的模型越简单特征越好，模型的灵活性越强1.2 特征提取与特征组合特征提取基于数据分析与探索提取箱型图分析点线图分析离散型特征很重要：可用于设计规则易于模型拟合，xgboost、lightgbm、catboost等都以决策树为基模型便于理解便于做特征组合
2020-08-24 16:28:25
403
原创 常见的时序模型
1 时序模型在时序模型中，以时间t为自变量，研究Y数值自身变化趋势。研究时间序列数据的意义：在现实中，往往需要研究某个事物其随时间发展变化的规律。这就需要通过研究该事物过去发展的历史记录，以得到其自身发展的规律。在现实中很多问题，如利率波动、收益率变化、反映股市行情的各种指数等通常都可以表达为时间序列数据，通过研究这些数据，发现这些经济变量的变化规律（对于某些变量来说，影响其发展变化的因素太多，或者是主要影响变量的数据难以收集，以至于难以建立回归模型来发现其变化发展规律，此时，时间序列分析模型就显现其优
2020-08-22 19:18:54
5108
原创 时间序列规则相关内容
1 时间序列概念时间序列简单的说就是各时间点上形成的数值序列，时间序列分析就是通过观察历史数据预测未来的值。在这里需要强调一点的是，时间序列分析并不是关于时间的回归，它主要是研究自身的变化规律的（这里不考虑含外生变量的时间序列）。2 时间序列分析1.基本模型自回归移动平均模型(ARMA(p，q))是时间序列中最为重要的模型之一，它主要由两部分组成： AR代表p阶自回归过程，MA代表q阶移动平均过程，其公式如下：依据模型的形式、特性及自相关和偏自相关函数的特征，总结如下：在时间序列中，ARIM
2020-08-21 19:07:55
1044
原创 LightGBM
1 LightGBM的介绍LightGBM是2017年由微软推出的可扩展机器学习系统，是微软旗下DMKT的一个开源项目，由2014年首届阿里巴巴大数据竞赛获胜者之一柯国霖老师带领开发。它是一款基于GBDT（梯度提升决策树）算法的分布式梯度提升框架，为了满足缩短模型计算时间的需求，LightGBM的设计思路主要集中在减小数据对内存与计算性能的使用，以及减少多机器并行计算时的通讯代价。LightGBM可以看作是XGBoost的升级豪华版，在获得与XGBoost近似精度的同时，又提供了更快的训练速度与更少的内
2020-08-21 11:30:45
1202
原创 决策树
1 决策树的介绍决策树是一种常见的分类模型，在金融分控、医疗辅助诊断等诸多行业具有较为广泛的应用。决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。例如在婚恋市场中，女方通常会先看男方是否有房产，如果有房产再看是否有车产，如果有车产再看是否有稳定工作……最后得出是否要深入了解的判断。决策树的主要优点：具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。决策树的主要缺点：模型容易过拟合，需要采用减枝技术处理。不能很好利用连
2020-08-20 19:23:34
206
原创 概率论相关内容
1 随机事件1.1 随机事件及相关概念随机实验满足以下三个条件：1.可以在相同条件下重复进行；2.结果有多种可能性，并且所有可能结果事先已知；3.作一次试验究竟哪个结果出现，事先不能确定。样本空间：称随机试验的所有可能结果组成的集合；样本点：试验的每一个可能结果；随机事件：样本空间中满足一定条件的子集为随机事件，随机事件在随机试验中可能出现也可能不出现；必然事件：在试验中，称一个事件发生是指构成该事件的一个样本点出现。由于样本空间包含了所有的样本点，所以在每次试验中，它总是发生，因此称为必
2020-08-19 21:18:22
2484
原创 机器学习算法（一）（基于逻辑回归的分类）
机器学习算法（一）（基于逻辑回归的分类）逻辑回归的介绍逻辑回归（Logistic regression，简称LR），虽然是带有回归两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法仍然有其独特的优势依然广泛应用于各个领域中。逻辑回归最突出的两点就是模型简单和模型的可解释性强。优点 ：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低。缺点：容易欠拟合，分类精度可能不高。逻辑回归和线性回归的区别，就是广泛的线性
2020-08-11 19:37:18
281
原创 交叉验证
交叉验证将原数据进行分组，一部分作为训练集，另一部分作为验证集，首先用训练集对不同参数的模型进行训练，再利用验证集来测试训练得到的模型，进而验证集的测试误差来衡量模型中的参数。常用的交叉验证方法：Hold-out 方法 Hold-out方法即将原数据随机的分成两组，一组用作训练数据集，另一组用作验证数据集。 训练集训练模型，验证集则用于验证训练得到的模型，验证集的测试误差则为衡量...
2018-07-31 19:28:42
1031
原创 回归评估参数
回归评估参数在回归过程中，常用的指标包含很多。MSE: Mean Squared Error 均方误差是指参数估计值与参数真值之差平方的期望值; MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度 MSE=1N∑t=1N(observedt−predictedt)2MSE=1N∑t=1N(observedt−predictedt)2 MSE...
2018-07-31 15:58:48
1114
原创 Java相关的知识点
Java上路前的一些知识点transient关键字加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl + Q插入链接 Ctrl + L插入代码 Ctrl + K插入图片 Ctrl + G提升标题 Ctrl + H有序列表 Ctrl + O无序列表 Ctrl + U横线 Ctrl + R撤销
2018-07-30 18:33:03
113
原创 岭回归 Rigde Regression
岭回归（Ridge Regression）岭回归是一种改良的最小二乘估计法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于普通的最小二乘法OLS。本质是在自变量信息矩阵的主对角线元素上人为地加入一个非负因子。直接套用线性回归有可能会产生过拟合，如果加上L2正则化项，就是岭回归...
2018-07-30 18:30:22
1434
原创 Chapter 3 基础语法
Chapter 3 基础语法Chapter 3 基础语法1 类型变量与运算符11 类型12 变量13 运算符14 类型转换2 流程控制3.1 类型、变量与运算符3.1.1 类型Java可以区分基本类型和引用类型（也叫参考类型、类类型）。所谓基本类型，就是在使用时，考虑一下数据用多少内存来存比较划算，利用程序语法告诉JVM，让JVM自动为你在内存中配置和管理。Java的基本类型主要可以区
2017-10-30 10:26:33
198
原创 Kubernetes核心概念理解
Kubernetes核心概念理解Kubernetes概念集群的概念流程1. Kubernetes概念Kubernetes(k8s)是自动化容器操作的开源平台，这些操作包括部署，调度和节点集群间扩展。如果你曾经用过Docker容器技术部署容器，那么能够将Docker看成Kubernetes内部使用的低级别组件。Kubernetes不仅仅支持Docker
2017-10-26 14:34:13
418
原创 Chapter 2 从JDK到IDE
Chapter 2 从JDK到IDEChapter 2 从JDK到IDE1 从Hello World开始11 撰写Java原始码12 PATH是什么13 JVMjava与CLASSPATH14 编译程序javac与CLASSPATH2 管理原始码与位码文档21 编译程序javac与SOURCEPATH22 使用package管理类23 使用import偷懒3 使用IDE2.1 从
2017-10-24 17:10:48
180
机器学习实战
2016-08-11
python api
2016-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人