【python疑问（已解决）】爬虫时出现IndexError: list index out of range的错误

最新推荐文章于 2024-07-17 21:10:04 发布

GraceWangWYY

最新推荐文章于 2024-07-17 21:10:04 发布

阅读量7.3k

点赞数 4

分类专栏： python问题文章标签： python 正则表达式

本文链接：https://blog.csdn.net/GraceWangWYY/article/details/115034934

版权

在执行Python爬虫时，遇到一个错误：`IndexError: list index out of range`。当尝试从`re.findall(findLink, item)`的结果中取第0个元素时，报错。若去掉索引[0]，则可以获取250个网址。问题在于`re.findall()`返回的列表可能在某些情况下为空，导致取索引时出错。解决方案是先检查列表长度，确保不为空再进行索引操作。" 89081153,8337373,jQuery 动画控制：stop() 方法详解,"['jQuery', '前端开发', 'CSS3', 'HTML']

摘要由CSDN通过智能技术生成

# -*- coding: utf-8 -*-
"""
Created on Thu Mar 18 17:30:27 2021

@author: wangyu
"""
from bs4 import BeautifulSoup
import re
import urllib.request,urllib.error
import xlwt
import sqlite3#进行SQLite数据库操作

def main():
    baseurl='https://movie.douban.com/top250?start='
    #1、爬取网页
    datalist=getData(baseurl)
    #savepath='.\\豆瓣电影top250.xls'#.表示当前位置，
    #3、保存数据
    #saveData=(savepath)
    
   # askURL('https://movie.douban.com/top250')

findLink = re.compile(r' <a href="(.*?)">')#创建正则表达式对象，表示规则
#findLink = re.compile(r'<a href="(.*?)">')  

#爬取网页
def getData(baseurl):
    datalist=[]
    for i in range(0,10):#调用获取页面的信息10次
        url=baseurl+str(i*25)
        html=askURL(url)  #保存获取到的网页源码
        



    #2、逐一解析数据
        soup=BeautifulSoup(html,'html.parser')
        for item in soup.find_all('div&

最低0.47元/天解锁文章