简介: 相信大家在爬取数据的过程中会有遇到反爬的情况,像cookie,session 或者有防盗链 referer这类的反爬手段,这是可以用selenium 这个web程序测试的工具,进行代码来打开浏览器进行数据的获取;
1.相关库和软件的安装及简单的应用
1.1首先安装 pip install selenium
1.2 安装谷歌浏览器驱动 wedriver
按照对应的版本下载(win32 可以在win64位的运行) http://npm.taobao.org/mirrors/chromedriver/
下载好之后将 exe 文件放到谷歌浏览器文件夹的存放位置
最后将谷歌浏览器所在的文件夹路径 添加到电脑环境变量中
1.3 测试安装是否成功
from selenium import webdriver
from selenium.webdriver import Chrome
browser = webdriver.Chrome(r'C:\Users\张三\AppData\Local\Google\Chrome\Application\chromedriver.exe') webdriver的路径
url = 'www.baidu.com'
browser.get(url) #打开谷歌浏览器
html_source = browser.page_source 获取原网页
html = browser.find_element_by_tag_name("body")
time.sleep(3) # 延迟等待,保证网页加载完毕
常用定位方法:
find_element_by_id()
find_elements_by_name()
find_elements_by_xpath()
find_elements_by_tag_name()
find_elements_by_class_name()
find_elements_by_class_name()
find_elements_by_link_text("新闻")
browser.find_element_by_id("kw").send_keys("天下") # 定位搜索框元素,并输入内容
browser.find_element_by_id("su").click() # 定位提交按钮,并点击
time.sleep(10) # 延迟加载,让网页先加载完毕
browser.execute_script("document.documentElement.scrollTop=10000") # 执行JS脚本,向下滚动
# browser.quit() # 退出浏览器
divs = browser.find_elements_by_xpath('//div[@class="op_exactqa_detail_s_answer_scroll"]/div[1]/div')
print("天下内容是:",divs)
for d in divs:
print(d.text)
获取元素相关的信息: .get_attribute(‘class’) .text .id .tag_name
使元素在后台运行
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("–headless") # 浏览器后台运行
options.add_argument("–disable-gpu") # 使浏览器的gpu失效
webdriver.Chrome(r"chromedriver.exe路径",chrome_options=options) # 将option选项添加到Chrome对象中
目前整理这么多,后续有遇到问题,再进行添加 over