python爬虫之坑1-IndexError: list index out of range

python爬虫之坑1-IndexError: list index out of range

纳兰程关注

12018.08.31 16:25:01字数 669阅读 46,708

说起程序的bug，这是一个让人崩溃、焦头烂额，一万句“XXX”在心中奔腾的词语

就说起最近刚从老家上来，状态迷糊中

虽然接触爬虫不是很久，看了一些基础书籍，实战爬了几个网站，心想应对简单的还是处处有余

然而这俩天啪啪啪打我的脸，好了，废话多了，看正题

回一趟老家：应老人们的要求，做一个七星彩数据分析和数据模型训练，预测下一期中奖号码（太想中大奖了，也想让他们死心，哈哈）

---

目标：爬取七星彩的过去的期数、中奖号码，并存储在Excel中

爬取网页： 七星彩中奖号码查询

使用工具：python使用的IDE--pycharm

第三方库： requests、BeautifulSoup、time、xlwt

爬取整体思路：

1、先找到要取得网页（搜一下七星彩中奖号码，确定哪一个网页数据齐全并爬取容易）

2、观察要爬取的网页并解析，确定要提取的数据（用谷歌浏览器浏览，按下F12解析网页）

3，构造爬取的网页结构，写代码

4、爬取数据并将数据存储在Excel表中

---

一、打开爬取网页，观察网页结构

image

image

哈哈，这个爬取数据也太简单了（只要有一点爬虫基础的人都会吧）

于是我选择了最简单的BeautifulSoup爬取，只要先找标识tr,再找td....嗯,nice

代码如下

---

二、写了简单的爬虫，然后打印一下内容观察

import requests

from bs4 import BeautifulSoup

import time

headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

for k in range(1,74):

    url = 'http://tubiao.17mcp.com/Qxc/Haoma.aspx?page={}'.format(str(k))

    res = requests.get(url, headers=headers,timeout=30)

    soup = BeautifulSoup(res.text, 'lxml')

    i = 0

    for item in soup.select('tr')[1:-1]:

        qihao = item.select('td strong')[i].text

        onewei = item.select('td div')[i].text

        twowei = item.select('td div')[i+1].text

        threewei = item.select('td div')[i+2].text

        fourwei = item.select('td div')[i+3].text

        fivewei = item.select('td div')[i+4].text

        sixwei = item.select('td div')[i+5].text

        sevenwei = item.select('td div')[i+6].text

        print(qihao,onewei,twowei,threewei,fourwei,fivewei,sixwei,sevenwei)

image

什么？竟然运行错误，什么鬼，继续改，继续bug？

image.png

what?好的，我这几天真的迷糊，折腾了俩天，才找出错误，晕，丢人

忠告：不要眼高手低，多练才是自己真的会了

迷茫了俩天，以为是被封IP，或者网站有反爬机制，其实，什么都没有。。。。。

失败原因：爬虫在做xpath时候匹配到空值，粗心大意以为网页很简单，没仔细看，因为标识tr还有空值

解决方法：加上try.....except 错误机制跳过tr空值

---

三、成功爬取，完整代码如下，已经详细注释

为了方便理解思路，爬取代码就没写成函数模块化

#一、导入爬虫第三方库
import requests

from bs4 import BeautifulSoup

import time

import xlwt

#二、分析网页爬取数据

#构造浏览器模拟（应对403禁止访问）

headers = {'User-Agent':'Mozilla/5.0(Wimdows NT 6.1; WOW64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}

#构造网页结构

for k in range(1,74):

    url = 'http://tubiao.17mcp.com/Qxc/Haoma.aspx?page={}'.format(str(k))

    #请求HTML

    res = requests.get(url, headers=headers,timeout=30)

    #对HTML进行解析

    soup = BeautifulSoup(res.text, 'lxml')

    all_lists = []

    for item in soup.select('tr')[1:-1]:

        dict = {}

        #先寻找标识tr

        #try异常错误机制

        try:

            #寻找tr下面的标识

            qihao = item.select('td strong')[0].text

            onewei = item.select('td div')[0].text

            twowei = item.select('td div')[1].text

            threewei = item.select('td div')[2].text

            fourwei = item.select('td div')[3].text

            fivewei = item.select('td div')[4].text

            sixwei = item.select('td div')[5].text

            sevenwei = item.select('td div')[6].text

            list = [qihao,onewei,twowei,threewei,fourwei,fivewei,sixwei,sevenwei]

            all_lists.append(list)

            print(list)

        except IndexError:

            pass

#三、把数据存入Excel中

row0 = ['期数','各位','十位','千位','万位','第5位','第6位','第7位']#定义表头，即Excel中第一行标题

book = xlwt.Workbook(encoding='utf-8')#创建工作簿

sheet = book.add_sheet('七星彩',cell_overwrite_ok=True)

#创建表名,cell_overwrite_ok=True很重要，用于确认同一个cell单元是否可以重设值

for row in range(len(row0)):

    sheet.write(0,row,row0[row])#写入表头

i = 1 #第一行开始

for all_list in all_lists:

    j = 0#迭代行

    for data in all_list:

        sheet.write(i,j,data)#迭代列，并写入数据，#重新设置，需要cell_overwrite_ok=True

        j += 1

    i += 1

book.save('qingxingcai.xls')