- 博客(7)
- 收藏
- 关注
RSS订阅原创 记录一下在服务器上复现出来的多进程僵死的排查
起因： 表现情况：在跑任务时出现了僵死情况，任务是晚上9点开始跑的，查看log发现在半夜3点多的时候进入了僵死。接下来按照大佬的教程，用ps auxf查看我们的进程执行到了哪一步：可以看到是子进程和信号量都还在，但是子进程上属的父进程没有了，应该是被系统杀掉了导致变成了孤儿进程。因为子进程上属的父进程已经被杀掉了，所以我们无法根据strace -p $pid 来跟踪被杀的父进程。因此，我们可以cd /proc/22653/，在这里我们可以查看进程状态。cd /proc/之后，你会发.
2020-05-19 15:43:34
831
转载 tier树
字典树（Trie）可以保存一些字符串->值的对应关系。基本上，它跟 Java 的 HashMap 功能相同，都是 key-value 映射，只不过 Trie 的 key 只能是字符串。Trie 的强大之处就在于它的时间复杂度。它的插入和查询时间复杂度都为 O(k) ，其中 k 为 key 的长度，与 Trie 中保存了多少个元素无关。Hash 表号称是 O(1) 的，但在计算 hash 的时候就肯定会是 O(k) ，而且还有碰撞之类的问题；Trie 的缺点是空间消耗很高。至于Trie树的实现，可以用数
2020-05-12 09:47:13
500
转载 正则的学习与优化
首先：正则两种状态机的时间复杂度来源：请问一下大家正则表达式的时间复杂度NFA构造O(n)，匹配O(nm)DFA构造O(2^n)，最小化O(kn'logn')（N'=O(2^n)），匹配O(m)n=regex长度，m=串长，k=字母表大小，n'=原始的dfa大小理论模型是有穷自动机,具体的实现为正则引擎(Regex Engine)分两类确定型有穷自动机(Definite Finite...
2020-04-26 16:58:56
427
原创 bert源代码fine-tuning和keras-bert fine-tuning
bert源代码准备工作：下载bert代码 下载哈工大wwm预训练模型 数据集分为train、test（数据量大的话可以再分一个validation）开始fine-tune：数据读取：在run_classifier.py中更改DataProcesser基类（此基类预定义了数据读取的方法），因为源代码中为读取tsv，我们要改成读取自己的csv格式 我们的数据处理类加入到run_c...
2020-03-30 09:39:40
697
原创 python 错误合集（持续更新）
re模块error：look-behind requires fixed-width pattern原因：python的re模块并不支持变长的后发断言改进方法：将资金.*(?=困难) 改为资金（.*）(?=困难)
2020-03-27 13:48:53
725
原创 传统文本匹配算法
传统的文本匹配技术有BoW、VSM、TF-IDF、 BM25、Jaccord、SimHash等算法1、TF-IDF算法介绍TF-IDF（term frequency–inverse document frequency，词频-逆向文件频率）是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。TF-...
2020-03-24 15:46:10
647
原创 pytorch --task 01（线性回归，softmax和多层感知机） to task 02（文本预处理，n-gram和rnn）
首先，因为不熟悉pytorch的函数，首先在这记录一下查询到的函数。1.view函数类似于resize，把原先tensor中的数据按照行优先的顺序排成一个一维的数据（这里应该是因为要求地址是连续存储的），然后按照参数组合成其他维度的tensor。比如说是不管你原先的数据是[[[1,2,3],[4,5,6]]]还是[1,2,3,4,5,6]，因为它们排成一维向量都是6个元素，所以只要vie...
2020-02-14 16:00:30
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人