[python3]nba球员数据爬虫

最新推荐文章于 2023-12-03 01:54:53 发布

李耳-lier

最新推荐文章于 2023-12-03 01:54:53 发布

阅读量2.9k

点赞数 2

分类专栏： python 爬虫

本文链接：https://blog.csdn.net/a472770699/article/details/69661860

版权

本文介绍了使用Python3爬取新浪NBA数据库中16-17赛季球员数据的过程。首先爬取球员列表，接着逐个球员页面抓取信息，最终将数据整理并保存为CSV文件。为了适应不同需求，代码中的正则表达式可进行定制以爬取不同赛季的数据。

摘要由CSDN通过智能技术生成

爬取的数据为新浪nba数据库

方法是先爬取球员列表页面然后进入每个球员页面进行爬取，结果生成为csv

由于个人需求只爬取了16-17赛季数据，可通过修改正则表达式进行定制

代码如下：

import urllib.request
import re
import csv
myUrl ="http://nba.sports.sina.com.cn/players.php?dpc=1"
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' 
headers = { 'User-Agent' : user_agent } 
req = urllib.request.Request(myUrl, headers = headers) 
myResponse = urllib.request.urlopen(req)
myPage = myResponse.read()  
        #encode的作用是将unicode编码转换成其他编码的字符串  
        #decode的作用是将其他编码的字符串转换成unicode编码  
unicodePage = myPage.decode("GB2312")
#print(unicodePage)
myItems = re.findall(' <a href=\'(.*?)\'>(.*?)</a>',unicodePage,re.S)  
items = []  
for item in myItems: