- 博客(8)
- 收藏
- 关注
RSS订阅原创 Pytorch环境下微调BERT以及调参教程
使用Hugginface的Transformers库快速微调BERT等预训练模型，使其适应下游任务，本文以Quora问题对为例，对两问题表意是否一致进行预测介绍之前写了个微调BERT的入门教程，步骤比较多，我后来把它都封装成函数了，但用起来还是比较麻烦，而且有时候Transformer库里一些函数方法会改动，这就还要对代码进行调整。最近看Transformers的文档，发现它自己封装了一个trainer()函数，很好用，分享一下本文相应的jupyter notebook地址为：https://gi.
2021-03-18 01:35:46
8837
5
原创 Leetcode5. 最长回文子串-单层动态规划详细题解
5. 最长回文子串难度：中等给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1：输入: "babad"输出: "bab"注意: "aba" 也是一个有效答案。示例 2：输入: "cbbd"输出: "bb"思路：动态规划这里我们用dp存储以每个字母结尾的最长回文子串的长度，也就是说dp[i]表示以s[i]结尾的最长回文子串的长度。如果： i−dp[i−1]−1>=0i-dp[i-1]-1>=0i−dp[i−1]−1>=
2020-12-13 23:16:37
133
1
原创 计算性和复杂度理论2
本文主要是关于图灵可确定，不可确定问题和半确定问题等本文中可确定或不可确定也翻译为可决定，不可决定，这里我统一用可确定与不可确定文章目录预备知识可数与不可数集合可数集合符号不可数聚合定理：自然数集的幂集P(N)\mathcal{P}(\mathbb{N})P(N)是不可数的证明：反证法不可确定问题对角线语言定理：对角线语言DDD是不可确定的证明：反证法对角线语言补集的不可确定性定理：对角线语言补集Dˉ\bar DDˉ是不可确定的证明：反证法子程序技术停机问题定理：停机问题H是不可确定的证明：子程序ϵ.
2020-12-10 02:32:37
846
原创 看不懂掐死我系列之支持向量机（SVM）从原理到python代码实现
在如下图所示的二分类问题里，我们在训练分类器时就是希望找到一个最优的超平面。直观来讲，我们希望找到如图所示的一个通道（Margin）能够区分正负样本，最大化其宽度，取其中间线为超平面。直观来说，这样得到的超平面更具有泛化能力。我们准备讨论的SVM就是采用的这个思想：寻找一个分类器，使其有最大化的Margin。SVM的优化问题令训练集中的数据为{xi,ti}1N,xi∈Rd，ti∈{1,−1}\{x_i,t_i\}_1^N,x_i\in \mathbb{R}^d，t_i\in\{1,-1\}{xi,t
2020-12-10 02:31:55
524
原创 PyTorch环境下对BERT进行Fine-tuning
本文根据Chris McCormick的BERT微调教程进行优化并使其适应于数据集Quora Question Pairs里的判断问题对是否一致的任务。（文字部分大部分为原文的翻译）原文博客地址：https://mccormickml.com/2019/07/22/BERT-fine-tuning/原文colab地址：https://colab.research.google.com/drive/1pTuQhug6Dhl9XalKB0zUGf4FIdYFlpcX本文项目地址：https://gith.
2020-12-10 00:42:48
2777
15
原创 DCIC-赛题二赛后总结
DCIC-赛题二赛后总结赛题说明赛题名称A城市巡游车与网约车运营特征对比分析赛题说明参赛者需依据赛事方提供的出租车（包括巡游车和网约车）GPS和订单数据：一是综合应用统计分析方法分别对所提供的巡游车和网约车运营的时间、空间分布特征进行量化计算，包括计算2年的每年工作日取日平均，非工作日取日平均和节假日取日平均，三种类型各自平均的时变分布变化，三种时间类型按网格划分的平均空间分布（网格划分颗粒度选手自选），并分别对比分析所提供的网约车、巡游车，计算2年每年按工作日取日平均，非工作日取日平均
2020-10-12 04:29:14
584
原创 计算性和复杂度理论1
本系列文章是对可计算性和复杂度理论的简要概括，很大部分是对课件的翻译，中间掺杂着部分个人的理解，如有问题欢迎联系我修改。附课件地址：https://algo.rwth-aachen.de/Lehre/WS1920/BuK/BuK.py本文是第一部分，理论基础部分，主要介绍了图灵机和寄存器RAM。预备知识时间复杂度三个符号O−,Ω−和Θ−O-,\Omega-和\Theta-O−,Ω−和Θ−的定义：O(g(n))={f(n) ∣ ∃c>0,∃n0,∀n≥n0:0≤f(n)≤.
2020-10-11 04:00:15
642
1
原创 Datawhale零基础入门NLP-Task3 基于机器学习的文本分类
本文将对新闻文本分类这个比赛进行机器学习算法的探索比赛链接：https://tianchi.aliyun.com/competition/entrance/531810/introduction特征提取我们的数据是一系列文本是无结构数据，是没办法拿来直接计算的，也就没办法使用机器学习算法进行训练。因此我们首先得将这些无结构的数据转化为有结构的数据，那么最直接的想法就是提取特征了。比如提取出文本长度，文本中句子数等等作为特征然后进行训练。TF-IDF之前在task1的赛题思路里面已经介绍了TF-.
2020-07-25 23:21:31
159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人