＜新手＞python爬取豆瓣top250的名字,年代,评分,评价

最新推荐文章于 2024-09-14 19:55:48 发布

zycsdhr

最新推荐文章于 2024-09-14 19:55:48 发布

阅读量186

点赞数

分类专栏：爬虫文章标签： python 爬虫

本文链接：https://blog.csdn.net/qq_40071924/article/details/115498460

版权

爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

运行后 导出到data.csv文件内
看着教程写的，有很多地方还需要优化，运用了re模块和requests模块

# coding:utf-8
# 1.首先拿到页面源代码
# 2.通过 re模块 来进一步提取信息
import requests
import re
import csv  # 数据分析

for i in range(0, 10):
    url = "https://movie.douban.com/top250?start="+str(i*25)
    ua = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 11_2_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36 Edg/89.0.774.68"
    }
    resp = requests.get(url, headers=ua)
    page_content = resp.text
    # 解析数据
    obj = re.compile(r'<li>.*?<div class="item">.*?<span class="title">(?P<name>.*?)</span>.*?<br>'
                     r'(?P<year>.*?)&nbsp.*?<span class="rating_num" property="v:average">'
                     r'(?P<pingfen>.*?)</span>.*?<span>(?P<pingjia>.*?)</span>', re.S)
    result = obj.finditer(page_content)
    f = (open("data.csv", mode="a"))
    csvwriter = csv.writer(f)
    for it in result:
        # print(it.group("name"))
        # print(it.group("year").strip())
        # print(it.group("pingfen"))
        # print(it.group("pingjia"))
        dit = it.groupdict()
        dit['year'] = dit['year'].strip()
        csvwriter.writerow(dit.values())
    f.close()
print("over")