day23semenium的基本操作

day23semenium的基本操作

1获取网络数据

1，找接口（在network,tetch,刷新列表，展开preview右边的列表。

有接口只有用requesets对接口（headers,requests）发送请求（可能是get或者host)

2,直接用requests对网址发送请求，加user_agent,cookie

3，用selenium

4，放弃

2selenuim流程

1导包

from selenium.webdriver import Chrome
from bs4 import BeautifulSoup
import csv, time

2创建一个浏览器对象

b=Chrome

3开口网页

b.get(‘url’)

选取网页操作

select=b.find_element_by_css_selector(css)

点击按钮

select.click()

4解析网页

soup=BeautifulSoup(b.pagesource,‘lmxl’)

爬取实时疫情数据

all_li=soup.select('.index_1-1-328_2IAAkE>div:nth-child(2)>a')
other_li=soup.select('#foreignTable > t