python爬虫实验总结_python爬虫总结

python2转成python3的问题：

使用python3下边的2to3.py

打开cmd，进到python安装目录下的 \Tools\scripts文件夹中 输入python 2to3.py -w 目标py文件路径/目标.py

通过这种方式可以将一些格式的区别进行转化。

import格式的区别：

py2和py3的import机制不同，详情可以百度。

比如在A文件夹下有A1.py和A2.py，在py2中，可以直接A1.py导入A2可以直接写成import A2

在py3中，需要改成from A import A2

爬虫过程中的问题：

connect close问题：（如图）

现象： 自己浏览器可以打开，但是爬虫时一直连接close。网上找了一些方法发现没什么用。

解决方法：抓取自己浏览器的数据包，将自己的agent放到爬虫的request里即可正常爬取。怀疑是自己选取的agent数据集太老了，导致无法连接。

此问题只存在于个别网站，原有的agent数据是可以访问大多数网站的。

网站内容列表每个页面都是同样的url问题：

情况1： 当翻页时，可以通过抓包来获取到真实的url

情况