8.24网络爬虫笔记 -- Selenium

最新推荐文章于 2022-09-28 20:13:42 发布

Lujuntong

最新推荐文章于 2022-09-28 20:13:42 发布

阅读量194

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/Lujuntong/article/details/82142441

版权

9 篇文章 0 订阅

订阅专栏

首先下载chromedriver 将其放入Python运行环境下，然后再去pip安装selenium。

最简单的结构代码如下：

from selenium import webdriver
# ----------------------不打开浏览器窗口-------------------------
option_chrome = webdriver.ChromeOptions()
option_chrome.add_argument('--headless')
# -----------------------------------------------
driver = webdriver.Chrome(chrome_options=option_chrome) # chrome_options=option_chrome不打开浏览器窗口
# driver = webdriver.Chrome() # 在打开浏览器窗口执行过程
url = 'http://www.baidu.com'
driver.get(url)
# 获取网页内容
html_str = driver.page_source
print(type(html_str))
# -------------------传参-------------------------
# find_element_by_id 通过id选择器传入提交的值
driver.find_element_by_id('kw').send_keys("建设性问题")
driver.find_element_by_id('su').click()
html_bytes = html_str.encode('utf-8')
with open('baidu.html', 'wb') as f:
f.write(html_bytes)

关注