scrapy
啸啸大人
这个作者很懒,什么都没留下…
展开
-
爬取豆瓣时遇到status为200,返回值正常,但内容为Your IP is restricted.
原创 2018-07-14 19:10:41 · 2428 阅读 · 0 评论 -
ubuntu系统下安装mysql
这里写链接jfv转载 2018-09-06 22:38:10 · 425 阅读 · 0 评论 -
scrapy:最大并发数过大的话会打不开网页链接,应控制在100以内
CONCURRENT_REQUESTS_PER_IP =100 CONCURRENT_REQUESTS =100转载 2018-09-06 10:58:15 · 4378 阅读 · 0 评论 -
scrapy shell:Scrapy,终端startproject,显示错误TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接
F:\python_project\test>scrapy startproject spzTraceback (most recent call last): File “d:\python3.6\lib\runpy.py”, line 193, in _run_module_as_main “main“, mod_spec) File “d:\python3.6\lib\run...转载 2018-09-05 13:44:17 · 697 阅读 · 0 评论 -
scrapy:setting.py参数设置
这里写链接内容转载 2018-09-07 20:58:15 · 420 阅读 · 0 评论 -
安装库的时候ERROR:Microsorft Visure 14.0C++错误
pip install的包的问题,conda install的包没问题,或者自己下对应版本的库转载 2018-08-07 11:14:13 · 331 阅读 · 0 评论 -
magicbook重装系统后,指纹识别用不了的情况
从荣耀论坛上看到要重装5个驱动,按顺序安装 1.芯片组驱动程序 2. 串口驱动程序 3.Intel ME驱动程序 4. Intel SGX驱动程序 5. 指纹驱动程序 然后问题解决...转载 2018-08-04 19:55:22 · 19287 阅读 · 7 评论 -
安装scrapy,scrapyd,spiderkeeper,scrapyd_client时失败的情况,用管理员权限打开powershell,再输入安装命令就不会出错了
使用管理员权限打开powershell,再conda install 或pip install 就不会出错了转载 2018-08-04 18:06:16 · 710 阅读 · 0 评论 -
docker升级后提示账户不被允许使用docker的情况:You are not allowed to use Docker. You must be in the “doc
设置用户组权限 powershell打开: C:\WINDOWS\system32\compmgmt.msc 在docker-users添加电脑用户即可 这里写链接内容转载 2018-08-04 17:33:32 · 5830 阅读 · 0 评论 -
Mysql通过my.ini文件更改数据库文件存放地址,修改加密方式等
my.ini文件在C盘programeData里,打开后查找datadir,点击“查找下一个”转到 “Path to the database root“,修改文件存放位置修改mysql8.0的默认加密方式,在my.ini里修改成如下: default_authentication_plugin=mysql_native_password 然后重启mysql。 再创建新用户。此时新用户的...转载 2018-08-04 16:45:12 · 2866 阅读 · 0 评论 -
docker下载,镜像设置网站
docker cloud转载 2018-08-04 16:36:31 · 633 阅读 · 0 评论 -
Mysql的Workbench不显示查询数据,以及修改字段长度,编码等出错的问题
重启Mysql服务原创 2018-07-15 23:01:13 · 5749 阅读 · 0 评论 -
用python建立mysql数据库
点击打开链接转载 2018-07-15 22:05:33 · 1677 阅读 · 0 评论 -
Mysql:Data too long for column 'release_date' at row 1报错
字段类型设置时长度不够存储MySQL5.0.3之前varchar(n)这里的n表示字节数MySQL5.0.3之后varchar(n)这里的n表示字符数,比如varchar(200),不管是英文还是中文都可以存放200个更详细看点击打开链接TEXT一个BLOB或TEXT列,最大长度为65535(2^16-1)个字符。MEDIUMTEXT一个BLOB或TEXT列,最大长度为16777215(2^24-...转载 2018-07-15 21:06:39 · 1766 阅读 · 0 评论 -
Mysql报错:not all arguments converted during string formatting python
说明前后%和后面的参数数量不对应,又n个字段,就要又n个%s转载 2018-07-15 20:19:13 · 26762 阅读 · 1 评论 -
javascript动态加载的网页,需要splash渲染引擎,下载docker
https://blog.csdn.net/qq2712193/article/details/54576313boot2docker.iso在GITHUB上下载最新的,然后粘贴到提示的文件夹中国外镜像下载缓慢的问题http://www.bubuko.com/infodetail-2146453.html有时候docker_tool会各种问题,换了个稍微低点的版本就好了...转载 2018-07-22 16:32:13 · 266 阅读 · 0 评论 -
scrapy输出的CSV文件删除空行
excel打开文件,f5定位条件:空值,空行就被选中了。然后删除工作表行就行了点击打开链接原创 2018-07-14 23:40:24 · 585 阅读 · 1 评论 -
爬虫后数据输出到CSV文件乱码问题的解决办法
notepad2打开,选择编码ANSI,保存,再用excel打开就是正常的了点击打开链接原创 2018-07-14 23:36:30 · 4440 阅读 · 0 评论 -
ubuntu mysql连接错误:_mysql_exceptions.OperationalError: **(2002, "Can't connect to local MySQL server
程序文件中将host=localhost改成127.0.0.1即可转载 2018-09-07 10:12:13 · 2264 阅读 · 2 评论