2021年01月_Takoony

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创用top方法查看内存消耗的方法

top命令：实时监控；先打开一个窗口专门运行top命令top -c -d 0.1|grep python xxxxdir/main.py再打开另一个窗口运行程序python xxxxdir/main.py在运行的过程中，top命令窗口，就会不断显示着消耗的内存信息。详解top命令参数0.1代表中每0.1s更新下内存使用情况。...

2021-01-29 17:22:50 1389

原创 unicode_literals导致的UnicodeEncodeError

Python 2.7.5 (default, Oct 30 2018, 23:45:53)[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2Type "help", "copyright", "credits" or "license" for more information.>>> str("你好")'\xe4\xbd\xa0\xe5\xa5\xbd'>>> from __future__ import un.

2021-01-28 15:18:08 209

原创 anconda3安装虚拟环境

第一步：conda create --prefix=/home/nyang/virutal_env/nyang_py3 python=3.6第二步：conda activate /home/nyang/virutal_env/nyang_py3这样就可以做到等同于 virtualenv -p /root/***/***/python /home/nyang/virutal_env/nyang_py3的效果。

2021-01-19 11:03:54 243

原创 crontab定时任务

第一步：crontab -e 会打开一个配置文件；如下：第二步：设置定时执行任务30 0 * * * sh /home/nyang/bash/mkdir_date.sh >> /home/nyang/bash/mkdir_date.log第三步：启动服务/sbin/servicecrondstart//启动服务/sbin/servicecrondstop//关闭服务/sbin/servicecrondrestart//重启服务/sbin/ser...

2021-01-19 10:26:16 111

原创 Python中的super()用法

Python中对象方法的定义很怪异，第一个参数一般都命名为self（相当于其它语言的this，比如：C#），用于传递对象本身，而在调用的时候则不必显式传递，系统会自动传递。今天我们介绍的主角是super(), 在类的继承里面super()非常常用，它解决了子类调用父类方法的一些问题，父类多次被调用时只执行一次，优化了执行逻辑，下面我们就来详细看一下。举一个例子：...

2021-01-18 10:41:49 303

转载 Lex-BERT：超越FLAT的中文NER模型？

作者：JayLou娄杰链接：https://zhuanlan.zhihu.com/p/343231764来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。谈起中文NER任务，NLPer都不陌生。而如今，提升中文NER指标的主要方式是引入词汇信息，JayJay在之前的综述《中文NER的正确打开方式: 词汇增强方法总结》一文中就详细介绍了中文NER的一些主流方法，而SOTA属于FLAT[1]。最近arxiv上的一篇paper《Lex-BERT: Enhancing .

2021-01-15 16:28:44 1661 2

转载为什么你应该开始习惯使用 pathlib

几年前，当我发现 Python 的新 pathlib 模块时，我最初认为它是 os.path 模块的一个稍微笨拙和不必要的面向对象版本。我错了。Python 的 pathlib 模块实际上很棒！在本文中，我将尝试在pathlib上向你推销。我希望本文将激励你在任何需要使用 Python 中的文件时使用 Python 的 pathlib 模块。os.path 笨拙os.path 模块一直是我们用来处理 Python 中的路径的库。你需要的东西差不多都包含在内了，但有时它会很显得笨重。你应该像这

2021-01-14 16:17:08 229

原创 Roberta-wwm-ext-large模型中的wwm理解

Roberta：Robust optimize bert approach（名字来自于一篇论文题目的缩写）wwm：whole word masking的缩写；经典的bert作mask是随机的，且是基于WordPiece token之上的，没有约束条件。而wwm是将一个单词分成多个word piece后，mask其中一个，那么整个word必须全部被mask，换句话说，mask的最小单位是整个word，而原来是word piece(part of 整个word)案例：[OriginalSente

2021-01-12 19:38:11 4931 1

原创 linux系统下如何去掉多余的^M

用vim打开，然后输入命令：%s/\r//g就OK了

2021-01-12 19:06:01 163

转载 Python的regex模块——更强大的正则表达式引擎

Python自带了正则表达式引擎（内置的re模块），但是不支持一些高级特性，比如下面这几个：固化分组 Atomic grouping 占有优先量词 Possessive quantifiers 可变长度的逆序环视 Variable-length lookbehind 递归匹配 Recursive patterns （起始/继续）位置锚\G Search anchor幸好，在2009年，Matthew Barnett写了一个更强大正则表达式引擎——regex模块，这...

2021-01-12 16:43:35 2594

转载美团搜索中NER技术的探索与实践

1. 背景命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。NER是信息提取、问答系统、句法分析、机器翻译、面向Semantic Web的元数据标注等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要的地位。在美团搜索场景下，NER是深度查询理解（Deep Query Understanding，简称 DQU）的底层基础信号，主要应用于搜索召回、用户意图识别、实体链

2021-01-07 14:37:09 584

转载【NLP技术应用】工业界求解NER问题的12条黄金法则

众所周知，命名实体识别（Named Entity Recognition，NER）是一项基础而又重要的NLP词法分析任务，也往往作为信息抽取、问答系统、机器翻译等方向的或显式或隐式的基础任务。在很多人眼里，NER似乎只是一个书本概念，跟句法分析一样存在感不强。一方面是因为深度学习在NLP领域遍地开花，使得智能问答等曾经复杂的NLP任务，变得可以端到端学习，于是分词、词性分析、NER、句法分析等曾经的显式任务都隐式地编码到了大型神经网络的参数中；另一方面，深度学习流行之后，NER问题相比之前有了比较长足的

2021-01-07 14:26:03 956

原创一种新的url定向技术-使用@与/?

比如：baidu.com@taobao/ 可以直接重定向到taobao.com网站更进一步，直接指定到登陆页面baidu.com@login.taobao.com/member/login.jhtml?spm=a21bo.2017.201864-2.d1.5af911d9rWKMLH&f=top&redirectURL=http%3A%2F%2Fwww.taobao.com%2F/那么攻击者可直接用@重定向指向攻击者的网站...

2021-01-04 20:34:21 215

转载什么是url重定向

0X00：什么是url重定向？URL重定向（URL redirection，或称网址重定向或网域名称转址），是指当使用者浏览某个网址时，将他导向到另一个网址的技术url转发和重定向区别第一种是request.getRequestDispatcher().forward(request,response)：1、属于转发，也是服务器跳转，也可以叫做内部重定向，相当于方法调用，在执行当前文件的过程中转向执行目标文件，两个文件(当前文件和目标文件)属于同一次请求，前后页共用一个reques

2021-01-04 20:15:25 10390