day11初次接触爬虫，从猫眼电影网获取数据

最新推荐文章于 2023-11-29 10:53:22 发布

lr_harry

最新推荐文章于 2023-11-29 10:53:22 发布

阅读量431

点赞数

分类专栏：代码片段记录文章标签： python https url 正则表达式

本文链接：https://blog.csdn.net/lr_harry/article/details/106844085

版权

代码片段记录专栏收录该内容

2 篇文章 0 订阅

订阅专栏

# 从内建模块 urllib 导入 request
from urllib import request
# 要访问https 协议的网站 要用到SSL
import ssl
ssl._create_default_https_context = ssl._create_unverified_context

# 导入正则表达式模块
import re

# 正则表达式规则:
#    * 代表 0~无限个字符
#    . 可以匹配 1个字符('\n'除外)
#    ? 惰性匹配
r = re.compile(r'<div class="movie-item-info">.*?title="(.*?)".*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)</p>', re.S)


headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"
}


url = "https://maoyan.com/board/4?offset=10"
# 向 url 指定的地址发送请求, 先用 request.Request 创建一个 Request 对象
req = request.Request(url=url, headers=headers)

# 用 request 模块的 urlopen 函数象url 地址发送请求
resp = request.urlopen(req)

# 通过 resp 对象得到 url 返回来的html
html = resp.read().decode()
print(html)  # 打印获取到的html
req_list = r.findall(html)

# 包爬取的数据，存入CSV 文件
with open("maoyan.csv", "a") as file:
    for a, b, c in req_list:
        file.write(a)
        file.write(',"')
        file.write(b.strip())
        file.write('",')
        file.write(c.strip())
        file.write('\n')