python爬虫（五）爬虫实战

一、爬取新浪新闻网页

url = "https://news.sina.cn/gn?vt=4&pos=3"

1、分析页面内容

 1）为了方便使用Chrome浏览器打开该网页。进入网址后，按F12进入开发界面；

2）点击右上角的Network，再点击下方的Doc（因为大部分新闻网址的新闻内容都在这查找）。查看内容是否就是我们需要的

新闻内容；如果存在就进行下一步；

3）点击右下角的Headers，查看请求Request的方法和URL；

4）经过查看发现所有的新闻标题都在一个section标签内，而标签内容则在它的子标签h2中；

5）代码

from bs4 import BeautifulSoup
import reques