day19 selenium获取网页数据

day19 selenium获取网页数据

prepare、试用

# 导包
import time
import requests
from selenium.webdriver import Chrome
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup

# 尝试能用否
b = Chrome()
b.get('网址')
input()

一、selenium获取网页数据步骤：

1.创建浏览器对象
2.打开网页()
3.获取网页源代码

# 1
b = Chrome()

# 2
b.get('网址')

# 3
print(b.page_source)

二、selenium操作：

1.输入框中输入内容
获取输入框
浏览器对象.find_element(By.获取方式, 值):按照指定方式获取第一个满足条件的标签，返回一个标签值
浏览器对象.find_elements(By.获取方式, 值)：按照指定方式获取所有满足条件的标签，返回一个标签值
seleniu中常见的获取方式

名称	用法
By.ID	通过id属性值获取标签
By.CLASS_NAME	通过class属性值获取标签
By.CSS_SELECTOR	通过css选择器获取标签
By.XPATH	通过xpath路径获取标签
By.LINK_TEXT	通过超链接获取标签

2.点击内容
3.前进/后退/切换选项卡

# 1
# 创建谷歌浏览器，返回一个浏览器对象
b = Chrome()
# 通过浏览器对象打开指定网页
b.get('网址')
# 模拟人行为，等浏览器加载稳定
time.sleep(2)
# 获取输入框(获取标签)，id = kw
search1 = b.find_element(By.ID, 'kw')
# search2 = b.find_element(By.CSS_SELECTOR, '#kw')
# search3 = b.find_element(By.XPATH, '//input[@id="kw"]')


# 输入内容
# \n（回车搜索）
search1.send_keys('你好\n')
time.sleep(1)

search1.send_key