![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
machine learning
Autuming
开心工作每一天
展开
-
ubuntu gpu显卡内存 一直被占,nvidia-smi 看不到进程
使用 fuser 命令 查看 显卡进程信息,注意调整参数,可能你的显卡 是nvidia1,或nvidia6fuser -v /dev/nvidia0如果 fuser 命令 找不到,如图fuser: command not found安装fuser shell命令apt-get install psmisc查找到 ID 后 kill -9 $pid最后 nvidia-smi 查看 进程占用最后推荐使用 这个命令来查看 gpu使用情况watch -n 0....原创 2021-01-15 10:44:57 · 4672 阅读 · 0 评论 -
bert 使用(3)
之前 分享了如何原生的使用 bert 和 albert ,但 在预测的时候 只能预测单条,无法进行批量预测。bert模型 现在已经出现两年,各种使用bert 的方式越来越方便,今天介绍一下 如何使用 bert-for-tf2 调用 bert 和albert 等相较于使用原生bert ,下面方法 代码简单调用 方便,和常规模型搭建 相同 ,便于 使用 keras 来搭建更复杂的模型环境要求: tensorflow 1.14 以上 或 tensorflow 2.0pip install bert.原创 2020-06-04 21:51:25 · 1599 阅读 · 0 评论 -
albert 中文使用
最近Google 设计了一个【精简版的BERT】ALBERT,预测性能和bert相比大大提高,自己尝试直接调用其开源代码:https://github.com/google-research/ALBERT未能直接跑通,自己调试成功的代码地址如下:https://github.com/HappyYuanFang/albert_demo.git,该代码可直接在windows pycharm中跑通...原创 2020-02-10 15:56:30 · 5683 阅读 · 10 评论 -
fasttext 加载模型 内存分配失败
model_path="demo.model.bin"word="csdn"import fasttextmodel= fasttext.load_model(model_path)python 使用fasttext 加载 已经训练好的模型,结果出现异常,代码如上“Exception: fastText: Cannot load demo.model.bin due to C++ ...原创 2018-11-13 16:28:14 · 2256 阅读 · 0 评论 -
预加载词向量的处理
在NLP任务中常常需要预加载的词向量,其中gensim 提供了现成的api供大家使用,但里面往往有些需求无法满足,例如未知词的处理。针对这些情况,自己根据gensim 的源码,进行了重构。本篇文章主要包含两部分内容:1.gensim 原始的调用方式;自己修改过的调用方式,本文词向量以腾讯提供的 Tencent_AILab_ChineseEmbedding.txt 为demogensim 加载...原创 2019-02-12 20:09:03 · 2338 阅读 · 0 评论 -
jieba 分词如何控制分词粒度
本文主要内容是分词力度的应用场景 jieba分词如何实现分词的粒度分词粒度的概念我最喜欢的篮球明星是勒布朗·詹姆斯,一般我们直接称呼他为詹姆斯以该句话为例,最好的分词结果是 “勒布朗·詹姆斯” 和 “詹姆斯”都能分离出来。这就涉及到了分词粒度的控制,即如何保证长的词语不会被分开。常用分词工具,ansj 直接提供分词粒度的控制和词性的自定义校正 而 python 版本的jieb...原创 2019-03-26 20:00:47 · 6149 阅读 · 0 评论 -
bert 中文使用(2)
曾写过bert cs服务方式的调用方法:https://blog.csdn.net/renyuanfang/article/details/86701148,这种方式优点是操作简单,但也有很大的缺陷,不能 fine-tune,操作繁琐,而且速度非常慢 ,不能在windows上使用。最近一直尝试另一种bert的调用方式,克服了上面所说缺点,具体如下:1.准备 tenso...原创 2019-09-24 23:21:40 · 3195 阅读 · 19 评论