python从零开始写爬虫（2）

好了直接进入主题

编写一个简单的爬虫例子：主要是爬新浪新闻最新消息的数据http://news.sina.com.cn/china/

1.打开新闻网，定位到最新消息这里：

2.试着先用python请求该链接，具体操作如下：

import requests
newurl = 'http://news.sina.com.cn/china/'
res = requests.get(newurl)
res.encoding = 'utf-8'
print(res.text)

结果返回的是该地址网页的源码：

3.浏览器点开开发中模式F12,我用的是chrome浏览器，分析网页：

1）发现每一条新闻数据都有一个class为news-item：

2）编写代码，引入BeautifulSoup4库，对网页进行解析：

import requests
from bs4 import BeautifulSoup
newurl = 'http://news.sina.com.cn/china/'
res = requests.get(newurl)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
for news in soup.select('.news-item'):
    print(news)

输出结果：

4.我们主要是获取该页面的新闻标题及链接，继续分析我们要的数据的规律：

1）每条数据的标题及链接都在对应div下面<h2>标签里面，链接在a标签里：

2）代码实现如下：

import requests
from bs4 import BeautifulSoup
newurl = 'http://news.sina.com.cn/china/'
res = requests.get(newurl)
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
for news in soup.select('.news-item'):
    if len(news.select('h2'))>0:#有些h2下面为空的去除掉
        print(news.select('h2')[0].text)
        print(news.select('h2 a')[0]['href'])

结果如下：

ok!这样就实现了一个简单的爬虫例子

未完待续....