Cyrus_May的博客

爬虫篇——selenium（webdriver）进行用户登录并爬取数据摘要（一）创建browser对象（二）用户登录（三）数据爬取摘要本文主要介绍了如何通过selenium使用Chormedriver进行用户登录并爬取数据，使用过程中需注意合理使用selenium.webdriver.support.expected_conditions和selenium.webdriver.support.ui.WebDriverWait（一）创建browser对象chromedriver.exe的下载地址为：

爬虫篇——代理IP爬取备用及存储代码代码本文通过抓取免费的高匿IP代理，将其写入列表并保存为json格式文件，且将代码进行了封装，方便以后抓取数据时动态的更新handle的IP地址，从一方面避免抓取数据时反爬的干扰。# *************************** 西刺代理IP爬取 ****************************import urllib.request...

爬虫篇——User-Agent爬取备用及存储代码代码本文通过抓取常见的User-Agent（用户代理），将其写入列表并保存为json格式文件，且将代码进行了封装，方便以后抓取数据时实时更新请求头中的User-Agent，从一方面避免抓取数据时反爬的干扰。# *********************** User-Agent 爬取 ******************************...