AI与NLP
Steven灬
不知不为过,不学就是错!
展开
-
Windows下文本生成图像AI画图尝鲜体验
工具库 transformers 的开源方 Hugging Face 发布了一个专注于 diffuser 模型的开源库,我们可以基于它,仅仅通过几行代码就开始生成自己的艺术作画。不过这个 diffuser 库是一个基础实现版本,训练和学习的数据也没有OpenAI 的 DALL-E2、谷歌的 Imagen 和 Midjourney 的产品多。本次实验就是windows环境下的文本生成图像的尝鲜体验版。原创 2022-11-23 19:17:59 · 1581 阅读 · 0 评论 -
tf.kears加载fashion_mnist数据集超时timeout
tf.kears加载fashion_mnist数据集超时报错,代码如下:import tensorflow as tfprint(tf.__version__)print(tf.keras.__version__)fashion_mnist = tf.keras.datasets.fashion_mnist(x_train_all, y_train_all),(x_test, y_t...原创 2020-04-10 22:28:03 · 678 阅读 · 0 评论 -
文本自动摘要之Pointer-Generator Networks训练步骤
这程序是ACL 2017 paper *[Get To The Point: Summarization with Pointer-Generator Networks](https://arxiv.org/abs/1704.04368)*Github链接:https://github.com/abisee/pointer-generator第一步:准备训练数据*********...原创 2019-12-02 19:05:57 · 1454 阅读 · 3 评论 -
服务器Linux下安装Pyltp
上面安装完Python3.6.5后,继续安装后端代码所涉及到的包,接着继续安装自己程序所需的包:pip3.6 install gensim==3.7.1pip3.6 install jiebapip3.6 install flaskpip3.6 install pyltp在安装后端框架flask时,报错如下:No module named 'flask_cors'...原创 2019-09-06 16:07:25 · 2568 阅读 · 0 评论 -
服务器Linux下安装Python3.6
在上篇安装anaconda3中默认安装的是python3.7,但要用到哈工大pyltp工具包,其对应的Python包为3.6.5,故在服务器Linux下安装Python3.6.5,具体步骤如下:不同python版本之间是可以共存的,不用删除其他python版本在安装python之前,先执行以下命令安装依赖包:yum -y groupinstall "Development tools...原创 2019-09-03 23:31:20 · 1042 阅读 · 0 评论 -
查看服务器Linux的性能参数命令
1、查看内存信息grep MemTotal /proc/meminfo2、查看CPU信息cat /proc/cpuinfo3、查看硬盘信息df -lh4、查看硬盘分区fdisk -l5、查看磁盘IO状态iostat -d -x -k 1 106、查看某个目录占用空间的大小du -sh /root更多查看配置命令请参考,...原创 2019-09-03 17:24:03 · 377 阅读 · 0 评论 -
服务器Linux下安装Anaconda3
在新买的服务器上部署python环境,安装Anaconda3,安装pyltp,以及Anaconda相关虚拟环境的创建等,下面将自己的爬坑历程记录了下来,希望后来者少爬坑,首先安装anconda3,步骤如下,我这里是下载清华镜像的anconda3(官网下载太慢)清华镜像地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/这里我...原创 2019-09-03 16:30:45 · 2475 阅读 · 0 评论 -
anaconda虚拟环境常用操作
在刚接触到服务器的时候,使用服务器的过程中会遇到各种各样的问题。由于服务器是公用的,可以在服务器上安装anaconda,anaconda可以搭建环境,还可以创建属于自己的虚拟环境。使用命令 top,即可查看当前的服务器使用状态,如果CPU的使用率超过80%,就不要跑程序了。退出Ctrl+C。一、创建虚拟环境相关操作下面是一些anaconda的一些常用操作:1、首先,根据...原创 2019-08-30 15:40:28 · 9843 阅读 · 1 评论 -
初识NLP在智能客服中的应用
语料准备:智能客服语料在实际生产,语料一般是需要自己爬取,或者垂直领域的语料由客户提供的,这些数据都是需要清洗、预处理的。智能客服中一般工作中的语料准备:1)智能客服领域服务的客户主要涉及领域一般是垂直领域,包括银行、证券、保险、汽车和零售等;2)语料主要是客户客服部门的日志及电话录音;比如对于银行行业的信用卡业务中掌上生活的智能客服,里面的语料积累就是通过人工客服得到的;再比如拨...原创 2020-05-18 14:08:37 · 1309 阅读 · 0 评论 -
新闻人物言论自动提取
相关背景:面对互联网信息量的不断扩张,用户迫切地需要自动化的信息获取工具来帮助在海量的信息源中迅速找到和获得真正所需的信息。主要相关方面的研究有自动摘要、关键词提取以及人物言论的自动提取,这些都可以帮助用户快速准确的获取其所需的真正信息,节省用户时间,提高用户体验。其中新闻人物言论自动提取就可以帮助用户在新闻阅读、观点总结中能够发挥较大的辅助作用。什么是新闻人物言论:新闻人物言论即是在...原创 2019-08-06 17:09:46 · 2432 阅读 · 1 评论 -
基于Gensim实现word2vec词向量增量训练
为什么要增量训练:相信大家遇到像我一样的问题,当训练完一个word2vec词向量模型之后,又新来了一批语料,怎么实现在不改变原有模型的基础上,将新来的一批语料中新产生的词语训练成向量添加进去呢?由于原来的训练完的模型是经过几个小时甚至更长的时间才训练好的,不想重新进行训练,浪费时间,这时候增量训练就可以发挥其作用,下面将介绍增量训练的实现过程:具体代码实现如下:#!/usr/bi...原创 2019-08-06 08:39:31 · 3958 阅读 · 0 评论 -
基于中文维基百科的词向量构建及可视化
你将使用Gensim和维基百科获得你的第一批中文词向量,并且感受词向量训练的基本过程。词向量原理详解请参考:词向量技术原理及应用详解(一)词向量技术原理及应用详解(二)词向量技术原理及应用详解(三)词向量训练实践请参考:词向量技术原理及应用详解(四)运行环境:IDE:Pycharm2019python版本:3.6.3电脑配置:window7,i7,16G...原创 2019-07-30 17:07:52 · 8715 阅读 · 4 评论