#======================动态HTML====================
# JavaScrapt
# jQuery
# Ajax
# DHTML
# Python采集动态数据
# 从Javascript代码入手采集
# 不推荐:Python第三方库运行JavaScript,直接采集你在浏览器看到的页面
##=====================Selenium + PhantomJS===================
# Selenium: web自动化测试工具
# 自动加载页面
# 获取数据
# 截屏
# 安装: pip install selenium==2.48.0
# 官网: http://selenium-python.readthedocs.io/index.html
# PhantomJS(幽灵),基本已被chrome替代
# 基于Webkit 的无界面的浏览器
# 官网: http://phantomjs.org/download.html
# Selenium 库有有一个WebDriver的API
# WebDriver可以跟页面上的元素进行各种交互,用它可以来进行爬取
'''
通过webdriver操作PhantomJS进行查找
'''
from selenium import webdriver
import time
# 通过Keys模拟键盘
from selenium.webdriver.common.keys import Keys
# 操作哪个浏览器就对哪个浏览器建一个实例
# 自动按照环境变量查找相应的浏览器
driver = webdriver.PhantomJS()
# 如果浏览器没有在相应环境变量中,需要指定浏览器位置
driver.get("http://www.baidu.com")
# 一般根据网络速度等待若干秒
time.sleep(5)
# 通过函数查找title标签
print("Title: {0}".format(driver.title))
#=====================chrome + chromedriver=====================
# 下载安装chrome: 下载+安装
# 下载安装chromedriver:
# Selenium操作主要分两大类:
# 得到UI元素
# find_element_by_id
# find_elements_by_name
# find_elements_by_xpath
# find_elements_by_link_text
# find_elements_by_partial_link_text
# find_elements_by_tag_name
# find_elements_by_class_name
# find_elements_by_css_selector
# 基于UI元素操作的模拟
# 单击
# 右键
# 拖拽
# 输入
# 可以通过导入ActionsChains类来做到
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
# 可能需要手动添加路径
driver = webdriver.Chrome()
url = "http://www.baidu.com"
driver.get(url)
text = driver.find_element_by_id('wrapper').text
print(driver.title)
# 得到页面的快照
driver.save_screenshot('index.png')
# id="kw" 的是百度的输入框,我们得到输入框的ui元素后直接输入“大熊猫"
driver.find_element_by_id('kw').send_keys(u"大熊猫")
# id="su"是百度搜索的按钮,click模拟点击
driver.find_element_by_id('su').click()
time.sleep(5)
driver.save_screenshot("daxiongmao.png")
#获取当前页面的cookie
print(driver.get_cookies())
# 模拟输入两个按键 ctrl+ a
driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'a')
#ctr+x 是剪切快捷键
driver.find_element_by_id('kw').send_keys(Keys.CONTROL, 'x')
driver.find_element_by_id('kw').send_keys(u'航空母舰')
driver.save_screenshot('hangmu.png')
driver.find_element_by_id('su').send_keys(Keys.RETURN)
time.sleep(5)
driver.save_screenshot('hangmu2.png')
# 清空输入框 , clear
driver.find_element_by_id('kw').clear()
driver.save_screenshot('clear.png')
# 关闭浏览器
driver.quit()
##========================验证码=============================
# 验证码:防止机器人或者爬虫
# 分类:
# 简单图片,
# 极验,官网:www.geetest.com
# 图片选择,12306
# 电话
# google验证
# 验证码破解:
# 通用方法:
# 下载网页和验证码
# 手动输入验证号码
# 简单图片
# 使用图像识别软件或者文件识别软件
# 可以使用第三方图像验证码破解网站,www.chaojiying.com
# 极验,官网:www.geetest.com
# 破解比较麻烦
# 可以模拟鼠标等移动
# 一直在进化,机器学习
# 图片选择,12306
# 电话:语音识别,降噪,人工智能
# google验证
# Tesseract
# 机器视觉领域的基础软件
# OCR:OpticalChracterRecognition,光学文字识别
# Tesseract:一个ocr库,google赞助
# 安装:
# windows
# Mac: brew install tesseract
# Linux: apt-get install tesseract-ocr
# 安装完成后需要设置环境变量
tesseract xxx.jpg xx.txt
# python使用,安装完成后还需要pytesseract
# pip install pytesseract
# 识别图片案例
import pytesseract as pt
from PIL import Image
image = Image.open("xxx.jpg")
#调用tesseract,把图片转化成文字
text = pt.image_to_string(image)