python爬网站数据实例-利用Python爬虫爬取NBA数据功能实例分享

Python实现爬虫爬取NBA数据功能示例

本文实例讲述了Python实现爬虫爬取NBA数据功能。分享给大家供大家参考，具体如下：

爬取的网站为：stat-nba.com，这里爬取的是NBA2016-2017赛季常规赛至2017年1月7日的数据

改变url_header和url_tail即可爬取特定的其他数据。

源代码如下：

#coding=utf-8

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

import requests

import time

import urllib

from bs4 import BeautifulSoup

import re

from pyExcelerator import *

def getURLLists(url_header,url_tail,pages):

"""

获取所有页面的URL列表

"""

url_lists = []

url_0 = url_header+'0'+url_tail

print url_0

url_lists.append(url_0)

for i in range(1,pages+1):

url_temp = url_header+str(i)+url_tail

url_lists.append(url_temp)

return url_lists

def getNBAAllData(url_lists):

"""

获取所有2017