Python爬虫爬取NBA数据

最新推荐文章于 2024-08-12 16:31:38 发布

缥缈之力

最新推荐文章于 2024-08-12 16:31:38 发布

阅读量9.2k

点赞数 2

分类专栏： python 文章标签：爬虫 Python

本文链接：https://blog.csdn.net/roytao2/article/details/54180494

版权

本文介绍如何使用Python爬虫从stat-nba.com获取NBA2016-2017赛季至2017年1月7日的常规赛数据。通过调整URL参数，可以轻松爬取不同时间段的数据。

摘要由CSDN通过智能技术生成

爬取的网站为：stat-nba.com，本文爬取的是NBA2016-2017赛季常规赛至2017年1月7日的数据

改变url_header和url_tail即可爬取特定的其他数据。

源代码如下：

#coding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

import requests
import time
import urllib
from bs4 import BeautifulSoup
import re
from pyExcelerator import *

def getURLLists(url_header,url_tail,pages):
    """
    获取所有页面的URL列表
    """
    url_lists = []
    url_0 = url_header+'0'+url_tail
    print url_0
    url_lists.append(url_0)
    for i in range(1,pages+1):
        url_temp = url_header+str(i)+url_tail
        url_lists.append(url_temp)
    return url_lists

def getNBAAllData(url_lists):
    """
    获取所有2017赛季NBA常规赛数据
    """
    datasets = ['']
    for item in url_lists:
        data1 = getNBASingleData(item)
        datasets.extend(data1)
    #去掉数据里的空元素
    f