动态HTML
一、反爬措施
1、通过客户端标识来判断
解决办法:封装user-agent请求头
2、通过请求频率,在后台日志中通过分析请求ip来判断是否是爬虫
解决办法:设置请求频率,针对很难爬取的网站,就慢慢获取数据
3、封IP
解决办法:设置代理,代理池
4、能一次获取的数据绝不分批次获取,能在列表页获取的数据绝不在详情页获取
目的:减小请求次数
5、改变网页数据获取架构
数据不在页面直接渲染,而是通过前端js异步获取
js获取到数据需要:执行js才可以
但是使用requests模块获取到的js代码可以执行吗。—js代码的字符串。
解决的办法:如果能找到一个执行js的工具,数据就出来了
浏览器中之所能够出现数据是因为浏览器就有执行js的功能
同时我们python也有两个工具
-
selenium :驱动–让我们可以通过代码的方式来进行下面两个工具的控制
-
phantomjs :无界面浏览器
-
chrome :有界面浏览器
6、验证码
二、selenium
selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动操作,不同是Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器)。
Selenium 可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生。
Selenium 自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行,所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器
-
安装selenium
pip install selenium==2.48.0
三、PhantomJS
phantom:美 ['fæntəm],鬼怪,幽灵
PhantomJS 是一个基于 Webkit 的“无界面”(headless)浏览器,它会把网站加载到内存并 执行页面上的 JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器要高效
如果我们把 Selenium 和 PhantomJS 结合在一起,就可以运行一个非常强大的网络爬虫 了,这个爬虫可以处理 JavaScript、cookie、headers,以及任何我们真实用户需要做的事情
注意:PhantomJS 只能从它的官方网站 http://phantomjs.org/download.html)下载。因为
PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库,所以它不需要像Python 的其他库一样安装,但我们可以通过 Selenium 调用 PhantomJS 来直接使用
方法一:设置环境变量:C:\Users\cz\Downloads\phantomjs-2.1.1-windows\bin
打开终端命令行,输入:phantomjs,能够进行到 phantomjs 命令行,则表示安装成功
四、Selenium+PhantomJS操作
Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器,但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素,与页面上的元素进行交互 (发送文本、点击等),以及执行其他动作来运行网络爬虫
from selenium import webdriver
import time
# 1、先要创建一个浏览器驱动
# driver = webdriver.PhantomJS()
driver = webdriver.Chrome() # chrome
# driver = webdriver.Firefox()#火狐
# driver = webdriver.Ie()#火狐
# driver = webdriver.Safari()#火狐
# 2、请求url
driver.get('https://www.baidu.com/')
# 3、等待
time.sleep(1)
# 4、这是后driver就是浏览器。这个浏览器里面已经打开了百度的首页
# 先看看页面内容:截图
driver.save_screenshot('index.png')
# 可以获取页面元素(页面的中所有标签都是元素)
# find_element_by_id
# find_element_by_xpath
# find_element_by_css_selector
result = driver.find_element_by_id('kw')
# print(result)#WebElement
# webelement的操作:
# (1)、如果是input:输入
result.send_keys('尹能静')
# 找到按钮:点击
driver.find_element_by_id('su').click()
time.sleep(1)
# (2)找元素的位置
print(result.location)
print(result.size)
# 对于driver对象(浏览器对象)的属性
# (1)获取页面源代码--浏览器功能组件帮我们将js执行后得到页面内容。
print(driver.page_source)
# (2)最大化,关闭浏览器
# 最大化
driver.maximize_window()
# 关闭当前选项卡
driver.close()
driver.quit() # 退出
# (3)获取cookie值:
driver.get_cookies()
等待的作用:就是为了让程序的速度和浏览器的速度同步
#强制等待:time.sleep()--缺点:不容易控制。
#隐式等待:等到页面全部加载完成
# driver.implicitly_wait(20)#20最大等待时长
#显示等待:检测页面的元素,然我们可以等到【某个页面元素】满足【某些条件为止】。
#某个页面元素:
#某些条件为止
#presence_of_element_located等到元素(一个)加载出来
#presence_of_all_elements_located:等待所有的都加载出来
#定位器:他是一个元组,(By.xpath/id/css_selector,'对应的语法')
#1、显示等待的对象 #driver:等待对象监听哪个浏览器
#20:最大等待时长
wait = WebDriverWait(driver,5)
wait.until(EC.presence_of_all_elements_located(
(By.XPATH, 'xpath语法')))
五、Selenium常用方法总结:
1、获取当前页面的Url
方法:current_url
实例:driver.current_url
2、获取元素坐标
方法:location
解释:首先查找到你要获取元素的,然后调用location方法
实例:driver.find_element_by_xpath("xpath").location
3、表单的提交
方法:submit
解释:查找到表单(from)直接调用submit即可
实例:driver.find_element_by_id("form1").submit()
```python
4、获取CSS的属性值
方法:value_of_css_property(css_name)
实例:driver.find_element_by_css_selector(“input.btn”).value_of_css_property(“input.btn”)
5、获取元素的属性值
```python
方法:get_attribute(element_name)
实例:driver.find_element_by_id("kw").get_attribute("kw")
6、判断元素是否被选中
方法:is_selected()
实例:driver.find_element_by_id("form1").is_selected()
7、返回元素的大小
方法:size
实例:driver.find_element_by_id("iptPassword").size
返回值:{
'width': 250, 'height': 30}
8、判断元素是否显示
方法:is_displayed()
实例:driver.find_element_by_id("iptPassword")