爬取网址: https://movie.douban.com/top250
一:爬取思路(新手可以看一下) :
1:定义两个函数,一个get_page函数爬取数据,一个save函数保存数据,mian中向get_page函数传递url和运save函数接受get_page函数传递过来的值
2:准备动手
二:爬取前的准备
我是pyhton3 pycharm
需要准备的库 requests,lxml,xlwt
requests解析url
lxml解析网页,获取数据
xlwt 向excle写入数据
三:代码实现(这里只是为了保存数据做演示,没有对数据做处理)
import requestsfromlxmlimport etreeimport xlwt
all_list=[]#传入save函数的结果集
def get_page(url):
res=requests.get(url)
ifres.status_code==200:
html=etree.HTML(res.content)
all=html.xpath('//div[@class="article"]/ol/li')#所有的数据都在li标签下,我们一这个为总节点
fordetailin all:
title=detail.xpath('.//div[@class="hd"]/a/span[1]/text()')[0]#电影名字
score=detail.xpath('.//span[@class="rating_num"]/text()')[0]#评分
comme