requests + 正则抓取猫眼电影top列表
分析页面:http://maoyan.com/board/4
目标获取电影标题,演员,上映时间,评分,存到文件里
可以直接在页面中找到电影标题,评分等信息,并且在对应的标签里,可以用bs库抓,或者用正则表达式进行抓取。而排行榜一共有10页,点击一下发现每次都是整页刷新,所以不存在异步加载,而页数和url中的offset参数相关,这样设置不同的offset就能抓完所有的页面啦。
这次主要练习正则表达式的应用,匹配模式r.S 保证可以配到\n,而想要匹配到的内容放在括号里面。
还有yeild的用法:
如果一个函数定义中包含
yield
关键字,那么这个函数就不再是一个普通函数,而是一个generator.最难理解的就是generator和函数的执行流程不一样。函数是顺序执行,遇到return
语句或者最后一行函数语句就返回。而变成generator的函数,在每次调用next()
的时候执行,遇到yield
语句返回,再次执行时从上次返回的yield
语句处继续执行。
在这里获取内容的函数返回一个生成器(生成字典),所以在main函数里面用for循环迭代获得字典。
#-*- coding:utf-8 -*-
'''Zheng 's BUG'''
import json
import re
from multiprocessing.pool import Pool
import requests
from requests.exceptions import RequestException
def get_one_page(url):
try:
response = requests.get(url)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None
def parse_one_page(html):
#re.S模式保证能匹配到换行符,()里是我们要配的内容
pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
+'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?'
+'integer">(.*?)</i>.*?fraction">(.*?)</i>', re.S)
items = re.findall(pattern, html)
for item in items:
#相当于return一个字典
yield {
'index': item[0],
'img': item[1],
'title': item[2],
'actor': item[3].strip()[3:],
'time': item[4][5:],
'score': item[5]+item[6]
}
def save(content):
with open('maoyan.txt', 'a', encoding='utf-8') as f:
#数据转换成json格式的字符串
f.write(json.dumps(content, ensure_ascii=False)+'\n')
f.close()
def main(offset):
url = 'http://maoyan.com/board/4?offset=' + str(offset)
html = get_one_page(url)
#print(html)
for item in parse_one_page(html):
print(item)
save(item)
if __name__ == '__main__':
pool = Pool()
pool.map(main, [i*10 for i in range(0, 10)])