Python 爬取内容存入Excel实例（改进）

最新推荐文章于 2024-06-22 19:07:40 发布

屎山搬运工

最新推荐文章于 2024-06-22 19:07:40 发布

阅读量1.8k

点赞数 6

分类专栏： python 文章标签：爬虫 python3 保存Excel

本文链接：https://blog.csdn.net/qq_37974048/article/details/103218276

版权

今天想找一个爬虫代码研究一下原理。于是找了一个爬取豆瓣top250的电影信息，并写入Excel文件的代码。但是总是报错（原文章）。通过改进代码学习了爬虫的基本原理。

直接看代码：

# coding=UTF-8
'''
  function:爬取豆瓣top250的电影信息，并写入Excel文件
'''
import requests
import re
from openpyxl import workbook  # 写入Excel表所用
from openpyxl import load_workbook  # 读取Excel表所用
from bs4 import BeautifulSoup as bs
import os
import sys
import io
from imp import reload
import random
import numpy as np
os.chdir(r'C:\Users\Administrator\Desktop')  # 更改工作目录为桌面


def getHtml(src):
    #headers = {'User-Agent': random.choice(self.ua_list)}

    reload(sys)
    sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030')  # 改变标准输出的默认编码
    # hea是我们自己构造的一个字典，里面保存了user-agent。
    # 让目标网站误以为本程序是浏览器，并非爬虫。
    # 从网站的Requests Header中获取。【审查元素】
    hea = {
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'}
    html = requests.get(src,headers = hea).content.decode('utf-8')
    #html.encoding = 'utf-8'  # 这一行是将编码转为utf-8否则中文会显示乱码。
    #infor = p.text.strip().encode('utf-8')
    #print(html.text)
    getData(html, src)  # 首页链接和其他页不同，所以单独获取信息
    #urls = re.findall('href="?start='+25*range(1,2,3,4,5)+'&amp;filter=', html)  # re获取获取跳转链接的href
    p=0
    for i in range(1, 250):
        if i % 25 == 0:
            urls =len((re.findall("/?start="+str(i)+"&amp;filter=", html)))  # re获取获取跳转链接的href
            p=p+urls
    for u in range(p-2):  # 匹配到的跳转链接最后两个重复，需去掉
        next_url = 'https://movie.douban.com/top250?start='+