Python爬虫学习： 案例-BBS网站介绍（1）

1. 确定网站有哪些版块

观察页面点击几个页面发现 http://www.newsmth.net/nForum/#!section/X

2. 使用Postman验证

如果我们爬取http://www.newsmth.net/nForum/#!section/6这个版面，使用Postman验证
模版的意思是有框架，但是框架里是空的值，根据具体情况会往里面填充值，所以这就造成如果直接爬取这个URL会爬取不下来。

Requests仅仅会请求这个URL，所以显示的空界面，浏览器会根据URL实施很多内容，所以能回显整个页面。

3. 浏览器检查属性寻找真正的请求页面

确定我们最终需要的URL：http://www.newsmth.net/nForum/section/6?ajax

4. 总结

浏览器显示的URL：http://www.newsmth.net/nForum/#!section/6（只提供加载模版，并无内容）
含有真正内容的URL：http://www.newsmth.net/nForum/section/6?ajax