- 博客(32)
- 收藏
- 关注
RSS订阅原创 pyltp 0.2.1安装
pyltp是 LTP的 Python封装，它里面提供了包括分词，词性标注，命名实体识别，句法分析等等能力。比较坑的是我们可能无法直接通过方式来安装，所以本文就简单记录下如何通过源码安装pyltp。
2023-08-19 15:12:46
466
原创 Latex 报错及解决方法
LaTeX Error: Environment gathered undefined. [\begin{gathered}]Undefined control sequence. [\includegraphics]Undefined control sequence. [\toprule]\usepackage{booktabs}Something’s wrong–perhaps a missing \item. [ \item \textit]\usepackage{enumitem}
2022-01-14 11:01:25
5826
原创 事件抽取相关调研-厂商篇
事件抽取相关调研1. 事件抽取-厂商1.1 华为云1.2 百度1.3 科大讯飞1.4 深擎科技1.5 幂律智能1.6 云孚语义2.后续本篇不具体谈技术，主要是总结在事件抽取方向的相关调研结果。1. 事件抽取-厂商（1） 领域范畴：厂商无论是在特定领域（如：法律、金融），还是通用领域，厂商做的都是限定类型的事件抽取。（2）范式：除标准抽取外（即事件检测和事件论元识别），还有：仅抽取触发词和论元仅抽取事件类型和论元在论元抽取上也各不相同，有的仅抽取主体，有的抽取通用属性(如：时间/地点
2021-09-08 22:29:23
698
4
原创 事件抽取算法之CasEE
事件抽取算法之CasEE1.背景1.1 事件抽取任务描述1.2 CasRel范式迁移到事件抽取1.3 笔记动机2.问题和核心思想3.模型和代码细节总结和思考参考近来一直在做事件抽取方向的研究，读了许多相关论文，这里做一个系列的论文阅读笔记。（????笔者太懒了，以后争取及时更新）CasEE[1]^{[1]}[1]从名字来看，容易让人想到用于实体关系抽取的CasRel[2]^{[2]}[2]。没错，CasEE本质上就是利用层叠指针网络来联合进行事件检测和事件论元识别两个子任务的，本文将对该方法做一个简
2021-09-08 21:36:06
2746
13
原创 实体识别模型TENER泛读笔记
实体识别模型TENER泛读笔记一、问题和核心思想1. 方向和位置2. 更sharp的注意力二、模型细节1. Transformer概述1.1 Self-Attention1.2 Position Embedding2. 方向和距离感知的Attention2.1 距离有感但方向无感的位置嵌入2.2 距离有感到无感2.3 TENER中的Attention三、总结和疑问TENER是邱锡鹏老师团队的工作，其核心在于Attention设计时考虑了对于实体识别问题而言可能重要的三个因素：方向、距离（相对位置）以及词
2020-12-31 10:55:28
1922
原创 NLP数据标注工具调研
数据标注工具调研一、开源数据标注工具1. BRAT2. prodigy3. Chinese-Annotator4. YEDDA5. IEPY6. Deepdive7. snorkel8. Doccano二、总结三、参考：中文nlp领域比较困扰的点在于缺乏数据，尤其像事件抽取这样的任务，人工标注非常耗时费力，而且很容易出错，所以想要搭建一个针对事件抽取的标注系统。在调研如何造轮子时，发现有些开源工具或许可以用，或许可以避免这部分的时间消耗。一、开源数据标注工具1. BRAT安装环境：osx或者l
2020-11-16 20:32:43
1053
原创 事件抽取算法DMCNN
最近一直在阅读事件抽取方向的相关论文，这里做一个系列的论文阅读笔记。DMCNN是一种基于动态池化（dynamic pooling）的卷积神经网络模型的事件抽取方法，来自论文《Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks》。这是一种pipeline方式的事件抽取方案，即对触发词的检测和识别、对论元的检测和识别两个任务是分开进行的，后者依赖于前者的预测结果。两个子任务都被转换成了多分类问题，模型都采用DMCNN
2020-10-17 23:49:23
6311
24
原创 Ubuntu配置zsh && oh-my-zsh
Ubuntu配置zsh && oh-my-zshUbuntu配置zsh && oh-my-zsh一、安装zsh二、安装oh-my-zsh三、oh-my-zsh插件配置四、参考Ubuntu配置zsh && oh-my-zsh配了一台新机器，重新安装相应工具和配置环境。首先就是配置oh-my-zsh，提高办公效率。一、安装zshList item查看系统当前shellscat /etc/shells这里因为我已经装了zsh，所以可以看到/bin
2020-05-15 10:49:26
667
原创 Ubuntu安装使用kenlm
Ubuntu 安装/使用统计语言模型kenlm最近接触的都是深度学习那一套，有些…来一个最naive但效果其实并不差的统计模型也是不错的。（说实话真心觉得模型背后强大的数学理论、信息论真的牛。各种各变体的基于深度学习的重构/自编解码的根基不都是建立在其上吗。（来自一个深度学习（使用深度学习作为工具）小白的拙见））一、Kenlm安装步骤获取安装包wget -O - https://...
2020-03-20 18:07:20
1062
原创 Ubuntu解压工具rar安装
https://www.runoob.com/note/28602https://www.rarlab.com/download.htmRAR 5.90 beta 3 for Linux x64https://www.jianshu.com/p/6da08df8bfb1sudo apt-get install exfat-utils
2020-03-19 12:15:46
1246
原创 Ubuntu python3 安装其他包出错解决方案
python3.5/python3.6安装其他包时遇到的跟mysql相关的问题一、 python3.5(config not found)问题在pip3 install 某个模块xxx时，出现了跟mysql相关的错误(OSError: mysql_config not found)错误的解决方案 当时没注意是OSError，只注意到了mysql_config not found...
2020-03-07 00:49:19
691
原创 Ubuntu安装mongo
1.安装sudo apt-get install mongodb2.查看版本mongo -version3.启动mongoservice mongodb start 4.进入mongo
2020-03-06 22:38:30
229
原创 Ubuntu 安装mysql和mysql-workbench
安装mysqlsudo apt-get install mysql-server //服务端sudo apt-get install mysql-client //客户端安装过程中会提示输入密码（要记住）安装完成后，可输入下面命令进行登录：mysql -u root -p输入刚刚的那个密码即可安装mysql-workbenchsudo ap...
2020-03-06 22:34:25
294
原创 Ubuntu python3版本升级（python3.5到python3.6）
uhuntu python3版本升级（从3.5到3.6）前言：1. python3.6安装步骤apt-get install software-properties-commonsudo 安装python3.6sudo apt-get install python3.6安装成功以后，查看python3版本变为python3.6了，但pip3会出现ModuleNotF...
2020-03-06 22:25:58
1644
原创 Mac下Robo 3T (MongoDB可视化工具)安装和使用
Robo 3T (MongoDB可视化工具)安装和使用1. 官网下载到官网下载，当时没注意下载的是double pack，里面有两个安装包：Robo 3T和Studio-3T。2. 安装Robo 3T是免费的，而且我很少用可视化工具，所以也够用了，就安装Robo 3T。双击安装包，然后按提示直接拖入Application中3. 使用点击Create创建链接输入地址和端口以及...
2020-03-03 00:51:48
5209
9
原创 Mac pip3安装指定版本的tensorflow
python3下tensorflow的安装直接pip3安装pip3 install tensorflow==1.13.1太慢了，出先time out问题：2.使用清华镜像，这样可能快些：pip3 install tensorflow==1.13.1 -i https://pypi.tuna.tsinghua.edu.cn/simple/安装成功：参考使用清华开源镜像安...
2020-03-03 00:27:48
1393
原创 Mac 安装python3
mac安装python3背景：早就该装python3，但是一直懒。再加上一年多以前在我的mac上装python2和python3搞崩过一次，就不想再弄了。但是大家都用python3, 就统一下了。不然每次我从python2切换到python3还得去维护下代码，有些浪费时间。1. 查看python版本和路径查看版本python -V查看路径which python上图中是我以...
2020-03-03 00:13:58
140
原创 Mac安装mongodb
1. 前言昨天和今天一直使用brew安装Mongodb，奈何一直出现各种问题。问题1Xcode版本过低...Xcode can be installed from the App Store.Error: An unsatisfied requirement failed this build.解决办法：不更新Xcode的话，可以先看看mongodb的版本brew searc...
2020-02-13 22:45:16
619
原创 Ubuntu 升级pip3后，pip3和pip同指向问题解决
有时候pip安装或者pip3安装一些包时会失败，提示需要更新pip，但是更新以后会导致一些问题，上次更新pip时导致pip和pip3同指向了。于是我明明pip install 成功了一些包，在python2中却无法使用，下面记录当时的解决办法。参考pip 和 pip3 指向问题(输入pip list 和pip3 list 显示的包一样)和关于解决Ubuntu16.04中pip和pip3同时指...
2020-01-23 14:12:52
1901
原创 python处理excel和word文档
背景： 最近在处理一批中文数据。这些数据格式不一，有使用word的，有使用excel的，也有使用json等的。这篇主要记录下使用python来处理word和excel。一. 使用python处理excel读取excel数据（打开excel，通过索引获取指定的sheet内容） data = xlrd.open_workbook(fileName) #打开excel tabl...
2020-01-23 13:41:14
2270
原创 使用命令拆分Json数组为多个文件
前提：大概手上有一百多万条文本数据以及对应的关键词（包括抽象关键词）。要把其中的抽象关键词过滤掉，这样清洗以后的样本可以用于关键词标注模型。数据太多，想要脚本控制并行处理，需要拆分数据，但数据本身是json格式存储的，没法用split直接拆分。split拆分文件使用split命令split --lines 50000 xxx.txt xxx/xxx_后检查文件夹无任何新文件生成，拆分...
2020-01-23 11:58:17
3184
原创 Ubuntu下添加python环境变量
问题背景1. Pycharm配置本地python虚拟环境我的uhuntu上有python2和python3，我习惯使用python2，所以一般代码都是python2的。那天需要清洗数据，用到jieba。但是我pip install结巴总失败。最后因为懒（懒于改代码适应python3），就给项目单独创建了python虚拟环境，在该虚拟环境中安装该项目所有需要的包。2. 脚本文件运行由于数据...
2020-01-13 19:10:17
5913
原创 Mac 安装mysql
使用Homebrew安装mysql安装步骤安装步骤1.brew install mysql2. mysql_secure_installation 设置密码可以看到安装时没有密码，那么我们可以通过mysql_secure_installation来设置密码此时出现错误，我们需要把mysql启动起来3. mysql.server start 启动mysql4.根据提示设置密码...
2019-12-19 23:02:01
80
原创 复杂度分析
复杂度分析分析统计算法的执行效率和内存资源消耗（时空复杂度分析）数据结构和算法解决的是快和省的问题，那么什么样的代码运行得更快，什么样的代码更省存储空间便是复杂度分析的重点。1. 事后估计法让写好的代码跑一遍，通过统计和监控的手段获得代码运行时间以及内存占用情况的分析法叫事后估计法。事后估计法也是复杂度分析的一种手段，不过局限性比较大：测试结果依赖测试环境测试结果受数据规模的影响...
2019-11-06 16:02:37
292
原创 数据结构和算法概述
数据结构和算法学生时代课不好好上，代码没写几行，几乎各科都全靠考前几天的作战来pass。所以数据结构和算法的帐也欠下太久了…最近在极客时间上听王争老师的课程《数据结构与算法之美》，记录下相关要点。1. 为什么要学数据结构和算法应该掌握的基础知识有助于阅读框架源码，理解其背后的设计思想建立时空复杂度的意识，写出高质量高性能的代码2.数据结构和算法是什么简单地讲：数据结构：一...
2019-11-06 11:51:35
872
原创 PRML学习笔记-1.Introduction
Introduction之前有次出去开会的时候，一个清华的博士师兄说这本书他读了好几遍，里面的题也都自己做了。想想，这本书在我手里三年多，却一直被拿起又放下，没能好好地读一读。这次，想重新开始，从头到尾把这本书看一遍。好书若是就此被遗忘了，将是一件遗憾之事。1.模式识别模式识别主要是指应用算法自动地去发现数据中隐藏的规律，然后进一步基于所发现的规律采取一些行动。以经典的识别手写数字问题为...
2019-10-29 20:14:49
183
原创 PRML学习笔记---线性分类模型（生成模型 & 判别模型）
本偏笔记主要针对线性分类模型中的logistic regression 以及 multiclass logistic regressionLogistic Regression Model 逻辑回归模型是针对二类的分类模型，本质上其建模了类的后验概率其由来（Probabilistic Generative Models）根据贝叶斯公式，类的后验概率为： p(...
2018-09-09 22:40:49
865
原创 PRML学习笔记---线性回归模型
PRML学习笔记—线性回归模型说句题外话，做笔记是个好习惯(快则慢，慢则无，尤其在今下这个快餐式的社会，真的越浮躁越不能沉淀下来)。这本书在手里已经两年多了，这一次才是真真地好好读了，好好推了公式，好好去贯穿理解了,做这个笔记的初衷一是为了让自己养成一个好习惯，二是方便自己以后查阅，三希望共同学习PRML的同学能够相互交流共同进步：线性回归模型 回归问题是机器学习中监督学习下的一个...
2018-08-10 16:41:38
590
原创 SVM(Support Vector Machines)学习笔记
SVM(Support Vector Machines)笔名：阿墨 日期：2018-05-09 说实话，曾几次拿起书看过SVM,但是都半途戛然而止。此次由于要帮导师做ppt，自己便重拾书本认认真真地从头到尾看了一番，才知道SVM从线性可分到近似线性可分到线性不可分这个逐步递进的建模过程，从简单的最大硬间隔分类器到最大软间隔分类器再到（…还没看，下次再补）。虽然相关知识都来自于西瓜书或者统计学习
2018-05-09 15:48:44
264
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人