python爬取电影名字导入excel_python爬取豆瓣top250的电影数据并存入excle

爬取网址: https://movie.douban.com/top250

一:爬取思路(新手可以看一下) :

1:定义两个函数,一个get_page函数爬取数据,一个save函数保存数据,mian中向get_page函数传递url和运save函数接受get_page函数传递过来的值

2:准备动手

二:爬取前的准备

我是pyhton3  pycharm

需要准备的库  requests,lxml,xlwt

requests解析url

lxml解析网页,获取数据

xlwt 向excle写入数据

三:代码实现(这里只是为了保存数据做演示,没有对数据做处理)

import  requestsfromlxmlimport etreeimport xlwt

all_list=[]#传入save函数的结果集

def  get_page(url):

res=requests.get(url)

ifres.status_code==200:

html=etree.HTML(res.content)

all=html.xpath('//div[@class="article"]/ol/li')#所有的数据都在li标签下,我们一这个为总节点

fordetailin all:

title=detail.xpath('.//div[@class="hd"]/a/span[1]/text()')[0]#电影名字

score=detail.xpath('.//span[@class="rating_num"]/text()')[0]#评分

comme