电影票房爬取到MySQL中_爬取最热电影及票房统计

最近过五一小长假，带着老婆孩子出去玩了，偷了点小懒，又没有更新知乎。白天在外面玩，回来就想撸撸代码，撸代码也有瘾，成了生活中不可缺少的一部分。前几篇文章都是讲数据处理的，今天换个风格吧。写个简单的爬虫吧，以后复杂的爬虫、爬app、自动化测试、selenium、scrapy有时间就写，和朋友们一起交流，也希望认识技术大牛。

好久没有去电影院看电影了，就写个最热电影和票房的统计吧，豆瓣电影排行什么的作为爬虫入门最合适不过了。同时学习或者温习一下BeautifulSoup、还有csv数据的存储。这些就是各种各样爬虫的基础和原理，说的不太准确爬虫就是模拟浏览器get/post请求，爬取、解析、存储，再复杂的爬虫也都是在这个基础上慢慢衍化而来的，由浅入深。再将存储的数据，通过数据清洗、可视化展示，这就是做项目的路子。

好了进入正题，从豆瓣网上查到全球电影票房总排行榜，有了目标开始了，用的还是万年不变的requests模块，带上浏览器的标识User-Agent。

import requests

headers={

'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36'

}

url = 'https://www.douban.com/doulist/1641439/'

res= requests.get(url=url,headers=headers)