- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 懒加载问题，爬虫无法用src爬取图片问题
什么是懒加载当你去访问一个页面的时候，这个页面可能会有很多的信息，比如淘宝，京东之类的。如果你一次性完整的加载出这个页面。显然耗时长一点，并且对于用户和服务器都是不友好的。懒加载就是当 某个图片的位置在你的屏幕范围之内，它才会加载出来。这个是比较好理解的。我们看看下面这张图片有个src2属性，我们知道img标签没有这个属性，只有src属性。所以这个是伪属性它可以是src2也可以是abc其他之类的，所以浏览器不会去加载。在小众范围的网站中，这种懒加载是常用的方法。因此抓取用src2，而不是用src。
2022-01-28 18:24:54
1398
原创 UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xa0‘ in position...问题解决办法
将网络数据流写入文件时时，我们会遇到几个编码：with open('demo.html', 'w',) as f: f.write(data)这时会报一下错误：UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ inposition解决方法：with open('demo.html', 'w',encoding="utf-8") as f: f.write(data)这样就完美运行了...
2022-01-26 14:36:32
343
原创 Unable to start phantomjs with ghostdriver 错误
Unable to start phantomjs with ghostdriver
2022-01-18 16:39:45
1559
原创 出现AttributeError: module ‘selenium.webdriver‘ has no attribute ‘PhantomJS异常的解决方法
python3.6 安装最新版的Selenium 调用 PhantomJS总是报错交互窗口中完全不能用 把PhantomJS.exe放到Python根目录后运行命令行程序总是有一行这时需要下载旧版本的Selenium在Scripts命令行运行：pip install selenium==2.33...
2022-01-18 16:22:50
14308
原创 Python3出现“No module named ‘MySQLdb‘“问题-以及使用PyMySQL连接数据库
Python3出现"No module named 'MySQLdb'"问题-以及使用PyMySQL连接数据库
2022-01-17 15:25:13
890
原创 pyspider的Web预览窗口大小问题
环境：windows7 + chrome + pyspider解决方法：WEB预览框过小的原因在于页面元素的css属性height被替换为60px；CSS文件所在地方：C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Lib\site-packages\pyspider\webui\static\debug.min.css打开此文件，搜索iframe，将其修改为：iframe{border-width:0;width:100
2020-08-01 15:22:52
367
原创 pyspider all运行出错：①SyntaxError: invalid syntax，② Deprecated option ‘domaincontroller‘
运行环境：win10 64位，python 3.7在安装好pyspider后，运行pyspider all之后出现如下错误：Traceback (most recent call last):SyntaxError: invalid syntax在研究了一个上午之后，集众多网友智慧，这个错误的原因是：python3.7不兼容pyspider问题(出现占用关键字的问题)Python 3.5中引入了async和await，它们在Python 3.7中成为关键字。所以需要替换一下关键字。在C:\
2020-08-01 14:29:42
1391
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人