- 博客(94)
- 收藏
- 关注
RSS订阅
原创 NLP模型常见问题及解决方案
一、序列标注任务预测输出全为0的情况：1.1、模型搭建出现问题，检查模型是否正确1.2、学习率太小导致未收敛出现全0的情况，其中如果含BERT的模型可以尝试对不同参数设置不同学习率。1.3、batch_size过大导致全0的情况，需要调小batch二、关于含Bert模型的参数设置问题学习率建议设置为：1e-5 / 2e-5 / 5e-5Batch_Size建议设置：8...
2020-02-03 14:00:01
1758
原创 常用命令行
常用命令行anaconda 环境位置查找conda info -e服务器GPU内存使用情况nvidia-smi查看某个用户的所有进程ps -u username杀死某个用户的所有进程pkill -u username指定某个GPU运行程序CUDA_VISIBLE_DEVICES=0 python Main.py...
2020-01-19 21:50:28
190
原创 批量相似度计算
import torchdef batch_cosine_similarity(sentence_embedding_a, sentence_embedding_b): """ :param sentence_embedding_a: [a_number, hidden_dim] :param sentence_embedding_b: [b_number, hidden_dim] :return: """ a_number = sentence_emb.
2022-05-28 22:23:32
454
原创 DP总结(三) 状态压缩DP
三、状态压缩DP3.1. 基本概念 状态压缩动态规划，就是我们俗称的状压DP，是利用计算机二进制的性质来描述状态的一种DP方式很多棋盘问题都运用到了状压，同时，状压也很经常和记忆化搜索连用。一般用状态压缩的DP作为记忆化数组。3.2. 关键操作1 << (i - 1) // 左移 i - 1 位.1 << (i - 1) | state // 加入集合中第 i 个元素.1 << (i - 1) & state // 判断集合中第 i 个元素是否包
2020-12-09 11:38:53
378
原创 BERT Pytorch版本 源码解析（二）
BERT Pytorch版本 源码解析（二）四、BertEmbedding 类解析BertEmbedding部分是组成 BertModel 的第一部分，今天就来讲讲 BertEmbedding 的内部实现细节。4.1、Embedding 的组成以及设置 def __init__(self, config): super(BertEmbeddings, self).__init__() self.word_embeddings = nn.Embeddin
2020-05-12 23:11:02
1201
原创 Gensim 库使用手册
Gensim 库使用手册一、安装pip install gensim使用上述安装方式会出现安装失败的情况，主要原因就是因为镜像节点太慢了，所以换个镜像节点就好了。pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gensim二、使用GloVe预训练词向量首先是GloVe预训练词向量的下载地址：ht...
2020-03-14 22:50:28
1155
原创 PyTorch(一) DataSet and DataLoader
PyTorch(一) DataSet and DataLoader目录一、DataSet1.1、DataSet 简介1.2、DataSet 代码实现二、DataLoader2.1、DataLoader 简介2.2、DataLoader 源码介绍2.3、DataLoader 代码实现三、DataSet 与 DataLoader 的相关性一、DataSet1...
2020-01-07 16:16:10
180
原创 自然语言处理（二）统计分词（隐马尔可夫模型）
一、统计分词简介随着大规模语料库的建立，统计机器学习方法的研究和发展，基于统计的中文分词算法渐渐成为主流，其主要思想是把每个词看作是词的最小单位的各个字组成的，如果相连的字在不同的文本中出现的而次数越多，就证明这相连的字很可能是一个词。因此我们就可以利用字与字相邻出现的频率来反应成词的可靠度，统计语料中相邻共现的各个字的组合的频度，当组合频度高于某一个临界值时，我们便可认为此字组可能会构成一个...
2020-01-03 19:16:07
1582
原创 Machine Learning（一） Multi-Normial Bayes and Bernoulli Bayes
Multi-Normial Bayesclass MultinomialNB(object): def __init__(self, train, test, vocab, alpha=1): self.n = 0 self.vocab = vocab self.alpha = alpha self.n_classes ...
2019-12-31 15:28:07
254
原创 BERT Pytorch版本 源码解析（一）
BERT Pytorch版本 源码解析（一）一、BERT安装方式pip install pytorch-pretrained-bert二、BertPreTrainModel:一个用于获取预训练好权重的抽象类，一个用于下载和载入预训练模型的简单接口1、初始化函数（def __init__(self, config, *inputs, **kwargs)）:def _...
2019-11-08 14:21:41
11206
20
原创 PAT(甲级) 1003 Emergency
题目：https://pintia.cn/problem-sets/994805342720868352/problems/994805523835109376代码： #include<iostream> #include<algorithm> #include<vector> #include<string> using name...
2019-09-06 15:18:55
112
原创 PAT(甲级) 1002 A+B for Polynomials
题目：https://pintia.cn/problem-sets/994805342720868352/problems/994805526272000000代码：#include<cstdio>#include<iostream>#include<algorithm>#include<functional>#include<...
2019-09-06 14:56:21
99
原创 PAT(甲级) 1001 A+B Format
题目地址：https://pintia.cn/problem-sets/994805342720868352/problems/994805528788582400代码：#include<iostream>#include<algorithm>#include<vector>#include<string>#include<c...
2019-09-05 15:42:57
108
原创 处理pandas出现warning: “A value is trying to be set on a copy of a slice from a DataFrame.”
报错代码：col_names = Train_DataFrame.columns.values.tolist()train_data = Train_DataFrame[col_names[2:]]age_mean = train_data['Age'].mean()train_data['Age'] = train_data['Age'].fillna(age_mean)使用pa...
2019-09-04 10:10:17
7346
1
原创 LeetCode 207. 课程表 II
题目：https://leetcode-cn.com/problems/course-schedule-ii/代码：class Solution {public: vector<int> findOrder(int numCourses, vector<vector<int>>& prerequisites) { in...
2019-08-31 19:41:19
114
原创 LeetCode 207. 课程表
题目：https://leetcode-cn.com/problems/course-schedule/submissions/代码：class Solution {public: bool canFinish(int numCourses, vector<vector<int>>& prerequisites) { vector...
2019-08-22 22:45:53
108
原创 LeetCode 不同路径 II
题目：https://leetcode-cn.com/problems/unique-paths-ii/代码:class Solution {public: int uniquePathsWithObstacles(vector<vector<int>>& obstacleGrid) { int n = obstacleGrid....
2019-08-20 18:24:08
153
原创 LeetCode 不同路径
题目：https://leetcode-cn.com/problems/unique-paths/代码：class Solution {public: int uniquePaths(int m, int n) { vector<vector<int>>dp(n, vector<int>(m, 0)); //对...
2019-08-20 18:18:23
132
原创 leetcode 1 两数之和
题目链接：https://leetcode-cn.com/problems/two-sum/submissions/题解：class Solution {public: vector<int> twoSum(vector<int>& nums, int target) { map<int, int>hash; //...
2019-08-20 00:55:23
94
原创 自然语言处理（三）文章高频词提取
一、高频词汇提取简介高频词一般是指文档中出现频率较高且并非无用的词语，其一定程度上代表了文档的焦点所在。针对单篇文档，可以作为一种关键词来看。对于如新闻这样的多篇文档，可以将其作为热词，发现舆论的焦点。其中高频词提取其实就是自然语言处理中的TF（Term Frequency）策略。二、数据集下载及算法介绍数据集下载地址：https://github.com/nlpinaction/le...
2019-07-05 21:24:22
11538
原创 自然语言处理（一）规则分词
一、中文分词技术简介在英语中，单词本身就是词的表达，一篇英语文章就是“单词”加分隔符（空格）来表示的，在汉语中，词以字为基本单位的，但是一篇文章的语义表达却依然是以词来划分的。因此，在处理中文文本时，需要进行分词处理，将句子转化为词的表示。这个切词的过程就是中文分词，它是通过不同的算法利用计算机自动识别出句子的词，在词间加入边界标记符，分割出各个词汇。由于分词的主要困难在于分词的歧义问题，对于...
2019-07-02 00:04:09
1594
原创 LeetCode 826. 安排工作以达到最大收益
有一些工作：difficulty[i]表示第i个工作的难度，profit[i]表示第i个工作的收益。现在我们有一些工人。worker[i]是第i个工人的能力，即该工人只能完成难度小于等于worker[i]的工作。每一个工人都最多只能安排一个工作，但是一个工作可以完成多次。举个例子，如果3个工人都尝试完成一份报酬为1的同样工作，那么总收益为 $3。如果一个工人不能完成任何工作，他的收益...
2019-06-06 20:14:10
482
原创 LeetCode 399. 除法求值
399. 除法求值给出方程式A / B = k, 其中A和B均为代表字符串的变量，k是一个浮点型数字。根据已知方程式求解问题，并返回计算结果。如果结果不存在，则返回-1.0。示例 :给定a / b = 2.0, b / c = 3.0问题:a / c = ?, b / a = ?, a / e = ?, a / a = ?, x / x = ?返回[6.0, ...
2019-05-22 18:18:04
348
原创 LeetCode 1024. 视频拼接
1024. 视频拼接你将会获得一系列视频片段，这些片段来自于一项持续时长为T秒的体育赛事。这些片段可能有所重叠，也可能长度不一。视频片段clips[i]都用区间进行表示：开始于clips[i][0]并于clips[i][1]结束。我们甚至可以对这些片段自由地再剪辑，例如片段[0, 7]可以剪切成[0, 1] +[1, 3] + [3, 7]三部分。我们需要将这...
2019-05-10 20:39:22
603
原创 CCF 201812-2 小明放学
试题编号： 201812-2 试题名称： 小明放学 时间限制： 1.0s 内存限制： 512.0MB 问题描述： 题目背景 汉东省政法大学附属中学所在的光明区最近实施了名为“智慧光明”的智慧城市项目。具体到交通领域，通过“智慧光明”终端，可以看到光明区所有红绿灯此时此刻的状态。小明的学校也安装了“智慧光明”终端，小明想利用这个终端给...
2019-03-01 11:47:44
174
原创 CCF 201812-1 小明上学
201812-1 试题名称： 小明上学 时间限制： 1.0s 内存限制： 512.0MB 问题描述： 题目背景 小明是汉东省政法大学附属中学的一名学生，他每天都要骑自行车往返于家和学校。为了能尽可能充足地睡眠，他希望能够预计自己上学所需要的时间。他上学需要经过数段道路，相邻两段道路之间设有至多一盏红绿灯。 京州市的红绿灯是这样工...
2019-03-01 11:46:39
136
原创 CCF 201812-3 CIDR合并
201812-3 试题名称： CIDR合并 时间限制： 1.0s 内存限制： 512.0MB 问题描述： 样例输入 2 1 2 样例输出 1.0.0.0/8 2.0.0.0/8 样例输入 2 10/9 10.128/9 样例输出 10.0.0.0/8 ...
2019-03-01 11:42:45
267
原创 CCF 201812-4 数据中心
201812-4 试题名称： 数据中心 时间限制： 1.0s 内存限制： 512.0MB 问题描述： 样例输入 4 5 1 1 2 3 1 3 4 1 4 5 2 3 8 3 4 2 样例输出 4 样例说明 下图是样例说明。 #incl...
2019-02-27 12:13:27
241
原创 LeetCode 279. 完全平方数
279. 完全平方数题目描述提示帮助提交记录社区讨论阅读解答随机一题给定正整数 n，找到若干个完全平方数（比如 1, 4, 9, 16, ...）使得它们的和等于 n。你需要让组成和的完全平方数的个数最少。示例 1:输入: n = 12输出: 3 解释: 12 = 4 + 4 + 4.示例 2:输入: n = 13输出: 2解释: 13 = 4 + 9....
2019-02-19 23:53:45
197
原创 LeetCode 650. 只有两个键的键盘
650. 只有两个键的键盘题目描述提示帮助提交记录社区讨论阅读解答随机一题最初在一个记事本上只有一个字符 'A'。你每次可以对这个记事本进行两种操作：Copy All (复制全部) : 你可以复制这个记事本中的所有字符(部分的复制是不允许的)。 Paste (粘贴) : 你可以粘贴你上一次复制的字符。给定一个数字 n 。你需要使用最少的操作次数，在记事本中打印出恰好 n 个 '...
2019-02-09 14:23:32
172
原创 LeetCode 129. 求根到叶子节点数字之和
129. 求根到叶子节点数字之和题目描述提示帮助提交记录社区讨论阅读解答随机一题给定一个二叉树，它的每个结点都存放一个 0-9 的数字，每条从根到叶子节点的路径都代表一个数字。例如，从根到叶子节点路径 1->2->3 代表数字 123。计算从根到叶子节点生成的所有数字之和。说明: 叶子节点是指没有子节点的节点。示例 1:输入: [1,2,3] ...
2019-02-09 00:02:41
108
原创 LeetCode 5. 最长回文子串
5. 最长回文子串题目描述提示帮助提交记录社区讨论阅读解答随机一题给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1：输入: "babad"输出: "bab"注意: "aba" 也是一个有效答案。示例 2：输入: "cbbd"输出: "bb"class Solution {public: stri...
2019-02-05 20:36:15
92
原创 LeetCode 560. 和为K的子数组
560. 和为K的子数组题目描述提示帮助提交记录社区讨论阅读解答随机一题给定一个整数数组和一个整数 k，你需要找到该数组中和为 k 的连续的子数组的个数。示例 1 :输入:nums = [1,1,1], k = 2输出: 2 , [1,1] 与 [1,1] 为两种不同的情况。说明 :数组的长度为 [1, 20,000]。 数组中元素的范围是 [-1000, 10...
2019-02-01 23:21:29
198
原创 LeetCode 46. 全排列
46. 全排列题目描述提示帮助提交记录社区讨论阅读解答随机一题给定一个没有重复数字的序列，返回其所有可能的全排列。示例:输入: [1,2,3]输出:[ [1,2,3], [1,3,2], [2,1,3], [2,3,1], [3,1,2], [3,2,1]]class Solution {public: void DFS(vect...
2019-01-31 21:10:36
126
原创 LeetCode 79. 单词搜索
79. 单词搜索题目描述提示帮助提交记录社区讨论阅读解答随机一题给定一个二维网格和一个单词，找出该单词是否存在于网格中。单词必须按照字母顺序，通过相邻的单元格内的字母构成，其中“相邻”单元格是那些水平相邻或垂直相邻的单元格。同一个单元格内的字母不允许被重复使用。示例:board =[ ['A','B','C','E'], ['S','F','C','S'], ...
2019-01-31 17:33:05
105
原创 LeetCode 462. 最少移动次数使数组元素相等 II
462. 最少移动次数使数组元素相等 II题目描述提示帮助提交记录社区讨论阅读解答随机一题给定一个非空整数数组，找到使所有数组元素相等所需的最小移动数，其中每次移动可将选定的一个元素加1或减1。 您可以假设数组的长度最多为10000。例如:输入:[1,2,3]输出:2说明：只有两个动作是必要的（记得每一步仅可使其中一个元素加1或减1）： [1,2,3] =...
2019-01-30 21:15:19
166
原创 LeetCode 453. 最小移动次数使数组元素相等
453. 最小移动次数使数组元素相等题目描述提示帮助提交记录社区讨论阅读解答随机一题给定一个长度为 n 的非空整数数组，找到让数组所有元素相等的最小移动次数。每次移动可以使 n - 1 个元素增加 1。示例:输入:[1,2,3]输出:3解释:只需要3次移动（注意每次移动会增加两个元素的值）：[1,2,3] => [2,3,3] => [3...
2019-01-30 20:37:43
182
原创 LeetCode 72. 编辑距离
72. 编辑距离题目描述提示帮助提交记录社区讨论阅读解答随机一题给定两个单词 word1 和 word2，计算出将 word1 转换成 word2 所使用的最少操作数 。你可以对一个单词进行如下三种操作：插入一个字符 删除一个字符 替换一个字符示例 1:输入: word1 = "horse", word2 = "ros"输出: 3解释: horse -&...
2019-01-27 15:08:16
234
原创 LeetCode 974. 和可被 K 整除的子数组
974. 和可被 K 整除的子数组题目描述提示帮助提交记录社区讨论阅读解答随机一题给定一个整数数组 A，返回其中元素之和可被 K 整除的（连续、非空）子数组的数目。 示例：输入：A = [4,5,0,-2,-3,1], K = 5输出：7解释：有 7 个子数组满足其元素之和可被 K = 5 整除：[4, 5, 0, -2, -3, 1], [5], [5, 0],...
2019-01-21 00:05:24
1152
原创 LeetCode 509. 斐波那契数
509. 斐波那契数题目描述提示帮助提交记录社区讨论阅读解答随机一题斐波那契数，通常用 F(n) 表示，形成的序列称为斐波那契数列。该数列由 0 和 1 开始，后面的每一项数字都是前面两项数字的和。也就是：F(0) = 0, F(1) = 1F(N) = F(N - 1) + F(N - 2), 其中 N > 1.给定 N，计算 F(N)。 示例 1：...
2019-01-17 00:01:25
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人