地址栏是不允许使用中文的,遇到中文会编码,是urllib.parse做的
data区分请求方式
页面登陆
发送请求-request请求
418:爬虫没成功
然后我们可以伪装成浏览器
IP代理(构建自己的opener发送请求)
因为百度的服务器发现了你是爬虫程序,然后返回来的东西不太对
免费的ip代理有的不太行,要多试试hh
防止反爬程序
使用Cookie
地址栏是不允许使用中文的,遇到中文会编码,是urllib.parse做的
data区分请求方式
页面登陆
发送请求-request请求
418:爬虫没成功
然后我们可以伪装成浏览器
因为百度的服务器发现了你是爬虫程序,然后返回来的东西不太对
免费的ip代理有的不太行,要多试试hh
防止反爬程序