学习python爬虫似乎都是从某瓣开始的,今天参考了几篇博文,自己试了一下python的爬取,做个记录
其实流程很简单,通过链接对网页内容进行抓取,然后再对抓取到的内容进行过滤,最终进行数据分析及存储
首先来分析一下豆瓣电影Top250的页面
一页数据25条,每一个item对应到html里的一条<li>标签 注意它们的父级元素<ol>对应的class 为'grid_view' 记住这点,后面我们元素选择器的时候会使用到
展开li,可以看到里面的内容包括片名、导演、演员、评分等等,就是我们所要抓取的内容。
一页有25条数据,总共十页,要拿到这250条数据,要做十次循环,每一页对应到的链接肯定是不同的,那我们应该如何获取这些链接呢,看了许多文章都是用拼链接来获取的,当然这能让我们进一步学习如何做页面的分析,但我看到有一种做法是最简单的
我们可以通过底部的分页,通过获取'后页'的链接,我们可以得到下一页从而来进行循环,当到第十页,'后页'取不到链接了,标识循环结束
好了,整个页面还是比较简单的,分析完毕以后,我们进行具体的操作
首先是页面内容的获取
import requests
class HtmlGet:
def download_page(self,url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}
data = requests.get(url, headers=headers).text
return data
这里请求头加了一个'User-Agent'用来伪装浏览器,返回来的data就对应到页面的html内容
接下来是html页面的解析,使用到了BeautifulSoup的库
movie_lists = soup.select(".grid_view li")
还记得上面ol的class吗,这个相当于css里面的父子选择器,把所有的li标签都选择出来了,然后我们对这个list进行一个遍历,选出我们所需要的信息,我选择记录片名和导演两个信息。
从上面的图可以看到片名是class='title'的span标签
movie_name = movie_item.find('span',class_='title').getText()
这个方法选出对应的str值
而它的导演信息是这个样子,我先用select把这个p标签里的内容取出,然后再用正则表达式来获取导演名
patternStr = r'\s*导演: (.*?)\s{3}'
p = re.compile(patternStr)
movie_director = re.match(p,movie_item.select('div.bd p')[0].getText()).group(1)
同时返回信息数组和下一页链接两个值,如果下一页没有就返回None
next_page = soup.find('span', class_='next').find('a')
if next_page:
return movie_infos, self.url + next_page['href']
return movie_infos, None
完整代码如下
from bs4 import BeautifulSoup
import re
patternStr = r'\s*导演: (.*?)\s{3}'
p = re.compile(patternStr)
class HtmlParser(object):
def __init__(self,url):
self.url = url;
def parser_html(self,html):
soup = BeautifulSoup(html, 'lxml');
movie_infos = []
movie_lists = soup.select(".grid_view li")
for movie_item in movie_lists:
movie_name = movie_item.find('span',class_='title').getText()
movie_director = re.match(p,movie_item.select('div.bd p')[0].getText()).group(1)
movie_infos.append(list((movie_name,movie_director)))
next_page = soup.find('span', class_='next').find('a')
if next_page:
return movie_infos, self.url + next_page['href']
return movie_infos, None
最后对两个类进行调用
from HtmlGet import HtmlGet
from HtmlParser import HtmlParser
URL='https://movie.douban.com/top250'
outputMode= "{0:{2}^20}\t{1:^10}"
htmlGet = HtmlGet()
htmlParser = HtmlParser(URL)
url = URL
while url:
infos,url = htmlParser.parser_html(htmlGet.download_page(url))
for info in infos:
print(outputMode.format(info[0],info[1],chr(12288)))
输出结果
大功告成。。。
github: GitHub - superyxw/movie