Python | 简单的爬虫

前言

爬取的数据是：豆瓣电影TOP250
使用的python库有：requests、bs4的BeautifulSoup、pandas。
通过requests爬取网页数据，通过BeautifulSoup解析网页数据，通过pandas将数据保存成excel、csv格式。

爬虫代码

import requests  #爬取数据
from bs4 import BeautifulSoup  #解析数据
import pandas as pd  #保存数据
#主函数，连接其他函数
def main():
    url = "https://movie.douban.com/top250?start="
    html = getUrlData(url)
    getHtmlData(html,url)
#获取网页数据
def getUrlData(url):
    try:
        # 有些网站会拒绝爬虫访问，需要模拟浏览器访问网站，添加请求头
        headers = {
        "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
        }
        r = requests.get(url,headers=headers,timeout=30)
        r.raise_for_status
        r.encoding=r.apparent_encoding
        html =