python爬虫基础爬取猫眼电影

最新推荐文章于 2024-10-06 11:18:39 发布

GAO_mm

最新推荐文章于 2024-10-06 11:18:39 发布

阅读量589

点赞数

分类专栏： python爬虫笔记

本文链接：https://blog.csdn.net/gao_mm/article/details/110249128

版权

这篇博客介绍了使用Python进行基础爬虫操作，以获取猫眼电影排行榜第一页的数据。作者提醒可以扩展为多页爬取，但本次实现仅限于首页。

摘要由CSDN通过智能技术生成

爬取猫眼电影排行榜第一页

import requests
from requests.exceptions import RequestException
from sqlalchemy import create_engine
from lxml import etree
import pandas as pd
import numpy as np

url = 'https://maoyan.com/board/4'
try:
    headers={
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
    response=requests.get(url,headers=headers)
    if response.</