需求:单纯的将page.source写入文件的方式,会导致一些图片无法显示,对于google浏览器,直接将页面打包下载成一个mhtml格式的文件,则可以进行离线下载。对应python selenium 微信公众号历史文章随手一点就返回首页?郁闷之下只好将他们都下载下来。:https://www.cnblogs.com/cycxtz/p/13416245.html 后续
遇到的问题:
1、单纯使用webdriver.ActionChains无法完成下载动作,未能操作windows窗口。
2、没有找到相关能直接下载.mhtml的命名接口。
3、pywin32置顶窗口的使用不顺利。
解决思路:
1、使用selnium打开浏览器,不要操作,让其保持置顶
2、使用pyautogui、pyperclip操作键盘、鼠标、剪切板进行下载文件。
实现:
1、打开爬取好的链接,遍历所有需要下载的页面
#读取文件
filename = r'data/01 爬取微信公众号历史文章/urls 二律背反的一灯如豆-out.xlsx'df= pd.read_excel(filename,dtype=object)
df= df.reindex(columns=['日期', '标题', '原创', '地址','完成情况','储存地址'])#df = df.head(5)
dfsel = (df['标题'] !='随文') & (df['完成情况'] != 1)