python网络爬虫 占用内存和CPU越来越大 越跑越慢

一、背景

• IDE：spyder
• 使用 selenium + webdriver 爬取ajax数据
• 脚本里有for循环（一万次）
• 每次循环爬取一条数据（约几十 ~ 几百B的大小）
• 每次循环存进一条数据

二、解决方法（打开资源管理器观察）

• 在循环中定时关闭webdriver：driver.quit()，浏览器窗口关闭后再重开，webdriver占用的cpu和内存能被释放。
• 然后发现开了spyder后，会有一个python进程，这个进程占用的内存也会不断飙升，所以就关了spyder，直接用cmd+R打开命令框，然后用python指令直接运行py文件
• 问题解决啦。
• 仅供参考。