python爬取网页表格beautifulsoup_【爬虫】001-python +requests+beautifulsoup4 简单爬取

实验环境：win7  python3.5 request 2.19.1

时间:2018-08-07

一、爬取 http://china.nba.com/statistics/ 表格数据

在这个案例中，直接get("http://china.nba.com/statistics/ "), 是得不到以上那个页面的；因为这个页面不是直接返回的静态页面，而是在浏览器端渲染的；  get得到的是浏览器渲染之前的页面；

解决方案: 用Fiddler 查看服务器返回的所有报文，从中找到含球员数据的那个报文；一般来说，content-Type 为application/json 是重点排查对象；

最终找到服务区器返回了一个

http://china.nba.com/static/data/league/playerstats_All_All_All_0_All_false_2017_4_All_Team_points_All_perGame.json

这个数据里含有页面上展示的数据

总体爬取流程：

Fiddler 分析网站交互过程  +   找到满足需求的返回报文 +解析数据

import requests

import bs4

import pandas as pd

url="http://china.nba.com/statistics/"

url1="""http://china.nba.com/static/data/league/play