Python—用selenium轻松获取网页内表格内容并写入数据库

以前用Python获取网页内容是很繁琐的，先requests.get网页源代码，然后用re的正则匹配各种折腾，才能把表格读取出来，而且调试成本很高，表格一换就失效了。最近学习了selenium，发现用来获取网页内容简直是如鱼得水，代码如下：

from selenium import webdriver
import pandas as pd
driver=webdriver.Chrome("chromedrive.exe")                           #谷歌浏览器打开
driver.get("https://www.worldometers.info/coronavirus/#countries")   #要分析的网页
datalist=[]
header=[i for i in driver.find_elements_by_css_selector('thead>tr>th') if i.text]  #标题行列表
rows=[i for i in driver.find_elements_by_css_selector('tbody>tr') if i.text]	   #所有内容
for row in rows:													 #逐行获取
  datalist.append([i.txt for i in row.find_elements_by_css_selector('td') if i.text])
df=pd.DataFrame(datalist,columns=header)
#写入MySQL
from sqlalchemy import create_engine
conn=create_engine("mysql+pymysql://username:passwd@127.0.0.1:3306/dbname")
df.to_sql(name='tablename',con=conn,index=False)
#写入Excel
df.to_excel("filename.xlsx",index=False)

代码非常简洁，而且很实用。这里默认网页的结构都是包裹标题区域,包括内容区域，这也是最通用的写法。获取datalist,结合header，就形成了dataframe，可以写入数据库，也可以写入Excel.

这里"chromedriver.exe"需要从这里下载：https://chromedriver.storage.googleapis.com/index.html?path= 选择符合浏览器的版本 放在.py文件同一个目录下即可