qq_47729488的博客

1、目的高效爬取图片，联系基本的xpath，以及简单函数，文件存储等。2、逻辑实现运用requests 发起get请求url 得到response_html再解析数据data = etree.HTML(response_html.text)from lxml import etree再用xpath定位想要的地址匹配规则以虎牙直播为例按f12 点击元素选择器element选着图片获得图片位置，上图的img标签中的src data-original 属性为图片地址。gilrs = d

由于本机IP对淘宝访问多次后出发了淘宝反爬机制跳出滑动验证码等等，所以建立一个IP池随机IP地址对淘宝模拟登录某网站免费IP58.209.53.172:62330106.110.91.240:20750114.234.167.236:20693180.124.87.81:20689222.187.164.36:20820113.123.119.218:5004549.82.252.21:20685121.224.106.53:12004119.126.157.59:55201222.1

1、Google浏览器模拟登录淘宝先下载chromedriver链接：https://pan.baidu.com/s/1YoUCxtmrWXKxcoO9wwZwNA提取码：ulg0配置chromedriver将该文件添加到python.exe chorme.exe 同目录下import randomimport time# 修改代码如下from selenium.webdriver import Chromefrom selenium.webdriver import ChromeO

由于selenium被淘宝识别，然后跳出滑动验证问题。这里需要添加参数，让淘宝无法检测出selenium。开始以为是代理IP问题后来实验发现不是代理IP问题。对于xpath和其他人不一样着哩可能是浏览器的问题，开始用的火狐，后面还是感觉Google香。代码import randomimport time# 修改代码如下from selenium.webdriver import Chromefrom selenium.webdriver import ChromeOptionsoptions