爬虫实战（一）利用python爬取猫眼电影Top前100

最新推荐文章于 2024-09-27 16:41:19 发布

步步星愿

最新推荐文章于 2024-09-27 16:41:19 发布

阅读量5.5k

点赞数 6

分类专栏： Network Crawler

本文链接：https://blog.csdn.net/qq_41940950/article/details/81223196

版权

Network Crawler 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

代码详解

 1#爬虫库
 2import requests
 3#json数据格式库
 4import json
 5#requests异常
 6from requests.exceptions import RequestException
 7#正则表达式
 8import re
 9#延迟函数
10import time
11
12#定义一个读取一个url并返回相应信息的函数
13def get_one_page(url):
14    try:
15        #伪装浏览器
16        headers={
17        "User-Agent":'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
18        }
19        #读取网页
20        response=requests.get(url,headers=headers)
21        #判断是否读取成功
22        if response.status_code==200:
23            #返回读取的内容（html代码）
24            return response.text
25        return None
26    except RequestException:
27        return None
28#定义一个解析html代码的函数
29def parse_one_page(html):
30    #编译成一个正则表达式对象
31    pattern = re.compile(r'<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
32                         + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
33                         + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
34    #开始查找
35    items = re.findall(pattern, html)
36    #遍历查找到的内容
37    for item in items:
38        #使用关键字yield 类似于return 返回的是一个生成器对象
39        yield {
40            'index': item[0],
41            'image': item[1],
42            'title': item[2],
43            'actor': item[3].strip()[3:],
44            'time': item[4].strip()[5:],
45            'score': item[5] + item[6]
46        }
47#将结果写到一个txt文档中
48def write_to_file(content):
49    with open('result.txt', 'a', encoding='utf-8') as f:
50        f.write(json.dumps(content, ensure_ascii=False) + '\n')
51#图片下载
52def pic_download(url,title):
53    r=requests.get(url)
54    with open("pics/"+title+".jpg",'wb') as f:
55        f.write(r.content)
56#打开需要爬取得所有网页，并进行爬取
57def main(offset):
58    #网页链接
59    url='http://maoyan.com/board/4?offset='+str(offset)
60    #请求网页，获取html
61    html=get_one_page(url)
62    #遍历处理后的html结果
63    for item in parse_one_page(html):
64        #下载图片
65        pic_download(item['image'], item['title'])
66        #写入到文件中
67        write_to_file(item)
68if __name__ == '__main__':
69    for i in range(10):
70        main(offset=i*10)
71        #延迟1秒，避免反爬机制
72        time.sleep(1)

效果图：