minima-CSDN博客

原创 transformers库使用踩坑记

今天打算开始试用一下ALBert，安装了transformers之后就一直报错。经过一晚上终于解决了报错。记录一下，给碰到相同问题的小朋友一点参考。报错代码：from transformers import AlbertConfig, AlbertForPreTraining, load_tf_weights_in_albert报错内容：File "D:\python-venv\pytorch-venv\lib\site-packages\transformers\tokeniza..

2021-09-03 21:47:18 10251 4

原创 win7环境scrapy集成selenium爬取动态网页

scrapy可以爬取静态页面，但目前越来越多的网站数据都是通过js动态加载处理的。要想爬取这部分数据必不可少的对js处理的动态页面进行处理。一个简单的方法就是集成js处理工具，笔者在此选用的是selenium。scrapy的安装见笔者其他文章。在此笔者使用的是win7 64位环境。python环境安装selenium较为简单，使用命令可以自动获取最新版本的selenium，笔者安装的是...

2016-12-26 19:05:44 110

win7环境scrapy输出错误日志报错解决方案

win7下调试scrapy代码时，出现代码报错，但是未输出到log日志，而是在cmd中报如下错误：Traceback (most recent call last): File "d:\python27\lib\logging\__init__.py", line 884, in emit stream.write(fs % msg.encode("UTF-8"))UnicodeDe...

2016-12-01 15:49:48 152

scrapy环境搭建（二）-win7

win7是目前最常见的系统，不习惯linux的朋友可以在win7上搭建scrapy环境，本人使用的是win7 64位的，这里就以64位系统为例。1、安装python下载win7 64位 python2.7.12安装文件https://www.python.org/ftp/python/2.7.12/python-2.7.12.amd64.msi安装完成后，配置环境变量如： D:\...

2016-11-30 10:59:02 84

原创 scrapy环境搭建（一）-linux

系统环境：Redhat6.5系统1、添加scrapy环境依赖yum install -y python-devel libxml2 zlib-devel bzip2-devel xz-libs xz wget git tar gcc gcc-c++ openssl openssl-devel pcre-devel python-devel libevent automake autoc...

2016-11-30 10:31:15 70