码世界--CSDN博客

原创 TEACH_NLP——开篇

接触NLP以来，走过的坑颇多，回头望，满是心酸泪啊。鉴于此，为了让更多的人少走弯路，我决定写下一系列教程，既是为了总结这段时间所学，也是为了服务大众。毕竟才疏学浅，还希望大家多多批评指教。暂定每周更新一篇TEACH_NLP博文，希望能让后来人能够尽快的走入NLP的大门。目前我的研究方向是情感分类，方法是深度学习（LSTM，CNN。。。），工具以tensorflow为主，语料库以英文语料库为主，

2018-01-17 00:15:47 293

原创问题解决：dlopen: cannot load any more object with static TLS

dlopen: cannot load any more object with static TLS大多数是因为import顺序导致的不兼容问题，如下，如果先引入keras后引入sklearn.preprocessing会出现这个问题。调整先后顺序后，问题便消失了import tensorflow.kerasfrom sklearn import preprocessing其他可能引起此类问题的包还有torchkerastensorflowcv2解决方案：调..

2021-03-24 15:34:31 8524 1

原创 linux安装ta-lib

背景：linux直接pip安装ta-lib会不成功作者环境：centos 6.5ta-lib项目的github地址，里面有项目的安装说明，介绍，一手资料可以看看：https://github.com/mrjbq7/ta-lib下面是我的安装方式：先下载并编译ta-lib$ tar -xzf ta-lib-0.4.0-src.tar.gz$ cd ta-lib/$ ./configure --prefix=/usr$ make$ sudo make instal.

2021-03-24 11:57:54 962 1

原创 linux安装使用jupyter

1、安装anaconda，推荐清华镜像：https://mirror.tuna.tsinghua.edu.cn/help/anaconda/如果需要用到虚拟环境，则安装nb_conda:pip install nb_conda2、生成配置文件jupyter notebook --generate-config3、生成密码：远程访问# ipythonfrom notebook.auth import passwdpasswd()Enter password: #输入个密码，

2020-06-05 14:36:59 883

原创 shell定时检查任务是否运行

daily_check.sh文件#!/bin/bashBIN_NAME="my_task"echo "check task ..."ps -ef | grep -w $BIN_NAME | grep -v grepif [ $? -ne 0 ]thenecho 'start proc now ...'sh start_task.shelseecho 'proc is running ...'fi

2020-05-28 10:53:42 1112

原创 crontab定时任务启动shell时，source activate file not found

平常用到的conda环境激活命令：source activate python3，在设置crontab定时任务时，提示错误：source: activate: file not found环境：centos 7.6原因：找不到conda的activate路径。在使用source activate python3命令时，实际上调用了“activate”这个文件。解决：找到activa...

2020-04-09 11:45:54 2502

原创 C++ class static静态变量的使用

最近在项目中用到了，类的静态变量，用来统计类的实例的数量，并根据实例数量来判断类内行为。发现还是很有用。#include <iostream>#include <unordered_map>using namespace std;class Box{ public: Box(); static int niu;//...

2020-01-17 11:27:59 2244

原创 C++STL map的指针与复制

基本上所有的博客都在说map里“=”是浅拷贝，经试验发现这些说法不对。测试代码：#include <iostream>#include <map>using namespace std;int main(){ map<string, int> m1; //初始化m1 map<string, int> m2; //...

2020-01-14 16:09:50 7218 3

原创 linux安装NVIDIA驱动

前言：官网教程最权威。先不要按网上乱七八糟的教程乱搞一气，先按照官网的提示操作安装一遍，如果有问题再根据问题解决。我采用的平台：Linux: CentOS Linux release 7.6.1810 (Core)显卡：NVIDIA Corporation GP102GL [Tesla P40] (rev a1)首先官网下载驱动：https://www.nvidia.cn/Down...

2020-01-02 11:41:03 3376

原创 tensorflow [saved_model,.pb]模型生成及处理以及多模型合并到上线服务请求从0到1

多模型合并：在模型上线时，我们训练的多个模型往往功能相似或相近或有某种联系，在请求模型的返回结果时，如果一个接一个的去请求，会严重影响程序的效率。并发请求虽然能够缓解这种现象，理论上甚至可以达到与单个模型相同的请求时间，但是实际操作与理论还是有很大差距的。很明显，这种将模型串联起来的方式不够科学。如果把这些模型并联起来，分别接受相同或不同的输入，效果会大大不同，其运行效率与单个模型相差无几。接...

2019-12-03 17:56:55 2739 1

原创【TEACH-NLP】词向量预处理-抽取词向量

词向量训练完成之后，并不能直接使用，还需要做进一步的处理——抽取词表中对应的词向量。并不是所有的词向量都是有用的，我们仅用到词表中的词向量，将抽取出来的词向量保存成一个新的文件，以备后续使用。【提要】一、这里我们要用到之前的两个文件：vocab.txt #词表vec.bin #词向量表二、还要生成一个新的文件来保存抽取出来的词向量：select_vocab.txt #抽取出...

2019-09-29 11:27:41 432

原创【TeachNLP】文本数据处理-词表获取

计算机是不能直接识别语言的，比如英语，汉语……因此，需要先把自然语言转化成计算机能够识别的符号——数字（向量）。大体流程如下。自然语言——>编号——>向量当我们拿到一段文本，首先要统计出词表，并把词表保存成vocab.txt，方便后续使用。一般来说能用到词表的地方有：1、编号；2、词向量抽取；词表的统计很简单，当我们拿到一段文本：为了保证生成的词表没有重复的词语，我...

2019-09-09 18:02:55 1933

原创 vim的一些方便配置

在编辑python脚本时一些比较有用的配置：首先打开，vim配置文件：vi ~/.vimrc可以选择性的加入以下代码，也可全加，:wq 保存即可。（注释去掉）# 解决中文显示问题set fencs=ucs-bom,utf-8,cpb936,gb18030,big5,euc-jp,euc-kr,latin1set termencoding=utf-8set enc=utf...

2019-09-06 11:26:28 170

原创 linux系统中文乱码

Linux系统如果对中文不支持，在处理中文时会提示错误，比如：'latin-1' codec can't encode character u'\u017e' in position 11: ordinal not in range(256)不管如何encoding、decoding都不能解决问题。解决方法如下:首先查看系统对中文的支持locale -a | grep zh_C...

2019-09-05 16:12:43 1367

原创使用glove词向量

在我的个人博客上很早就把这篇文章写出来了，现在转到CSDN，作为word2vec的姊妹篇，无论你使用的是word2vec还是glove,两种方式都是通用的。仅作少许改动即可。前段时间把word2vec词向量的用法整理了一下。处理的是二进制文件，二进制文件处理起来是比较快的，但是过程可能比较繁琐。这次整理了一下glove词向量的处理方式，文件是txt格式的。Glove.txt文件大概是这样子的。图中...

2018-04-14 10:11:46 9192 4

原创 Tensorflow应用快速入门（二）

学习tensorflow先要了解它编码的流程，在此简要描述一下其流程，所有的TensorFlow训练神经网络的过程大致可以分为以下三个过程：1、定义神经网络的结构和前向传播的输出结果。2、定义损失函数以及选择反向传播优化的算法。3、生成会话并且在训练数据上反复运行反向传播优化算法。无论神经网络结构如何变化，这三个步骤是不变的。当然，每一步里面涉及到的方法和函数是比较复杂的，真正学好神经网络不止要了

2018-01-17 22:40:53 387

原创 Tensroflow应用快速入门（一）

在真正的教程开始之前，先将我之前写的两个小教程给大家看一下，以便对tensorflow的实现过程有一个整体性的理解。这两篇教程最初发表于我的个人网站：点击打开链接第一步安装anaconda，第二步cpu版直接pip install tensorFlow，若安装不上可以考虑清华的镜像，网上有很多教程，此处不做过多讲解。第三步命令行输入python，进入python环境，然后import tensor

2018-01-17 22:35:39 497

原创使用预训练的word2vec词向量

以谷歌开源google news（bin）为例。下载地址：https://code.google.com/p/word2vec更多模型下载地址：https://github.com/xgli/word2vec-api之前被这个问题困扰了挺长时间，一直找不到有效的方法，可能是我太菜……在网上找资料也只找到了一种把bin转换成txt 文件的方式，但是效率出奇的低，无法想象，本地一运行程序就死机，服务器...

2017-12-02 16:22:52 25145 11

原创 ResourceExhaustedError解决方法

最近经常碰到这个问题，搞得有点怀疑人生了……首先恭喜你，你遇到了一个比较玄的问题…………………………ResourceExhaustedError (see above for traceback): OOM when allocating tensor with shape[154,800]…………………………训练过程中，模型跑得好好的，结果'喀’，蹦出这么个错误，不能愉快的玩耍了都。这个错误一出...

2017-11-13 10:20:47 60110 19

原创 anaconda虚拟环境设置

实验室用到服务器，在使用服务器的过程中遇到一系列问题，后来发现，anaconda相当强大。首先，可以使用：module list 查看当前有哪些模块module unload 移除不需要的模块module load 加载需要的模块为了方便每次使用，可以在.bashrc文件中设置命令。每次使用前用source .bashrc文件加载模块即可。

2017-10-16 16:54:09 7624