无头浏览器的访问方式:
仅限于学习--需要验证
#让selenium启动谷歌浏览器的导入工作
import time
from time import sleep
# 1.导入selenium
from selenium import webdriver
# 新版本的检索内容后续需要使用By.x进行确定检索的类型 x---类型 如 ID ,CLASS_NAME 等
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
def wutou_browser():
chrome_options = Options()
# 实现规避检测
chrome_options.add_experimental_option('excludeSwitches',['enable-automation'])
chrome_options.add_argument('window-size=1920x3000') # 指定浏览器分辨率
chrome_options.add_argument('--disable-gpu') # 谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument('--hide-scrollbars') # 隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument('blink-settings=imagesEnabled=false') # 不加载图片, 提升速度
chrome_options.add_argument('--headless') # 浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败
# bropath 就是你自己本机电脑安装的浏览器的路径
bropath=r"C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chrome.exe"
chrome_options.binary_location=bropath
bro = webdriver.Chrome(chrome_options=chrome_options)
return bro
bro=wutou_browser()
bro.get('https://www.baidu.com/')
print(bro.page_source)
#2.创建浏览器对象,并且指定程序的驱动存在位置
# 你下载的驱动的位置,可以放在任意目录下,在这里指定路径即可
# qudongweizhi="./chromedriver"
# # bro=webdriver.Chrome(executable_path=qudongweizhi) 旧的写法
# #3.打开一个网址,进行访问--新的写的办法
# bro=webdriver.Chrome(chrome_options=chrome_options,service= Service(qudongweizhi))
# bro.get("https://www.baidu.com/")
# 3.1获取网页的源码
html_source=bro.page_source
# print(html_source)
#4.selenium元素标签的定位
# 新版本的语法By.ID 前提是导入包from selenium.webdriver.common.by import By
# 常用的就是下下面几个也就是能跟老版本的对应上了
# By.CLASS_NAME
# By.ID
# By.XPATH
# 4.1通过ID进行定位,获取百度的搜索框位置
search_input_baidu=bro.find_element(By.ID,"kw")
search_input_baidu.send_keys("壁纸")
time.sleep(2)
# 找到 百度一下的 按钮
button=bro.find_element(By.ID,"su")
button.click()
time.sleep(2)
# 滑到屏幕的底部
js_bottom='document.documentElement.scrollTop=100000'
bro.execute_script(js_bottom)
time.sleep(2)
# 获取下一页的 按钮
next=bro.find_element(By.XPATH,'//a[@class="n"]')
next.click()
time.sleep(2)
# 滑到屏幕的底部
js_bottom='document.documentElement.scrollTop=100000'
bro.execute_script(js_bottom)
time.sleep(2)
# 保存快照信息,确认是否进行了操作
bro.save_screenshot('baidu.png')
bro.quit()