Python爬取新浪新闻

打开网址输入 news.sina.com.cn

这里我选择了国际新闻，然后点击检查 通过查看可以发现新闻的相关信息存放在如下图的js文件里面

在上图中我们通过点击相关元素便能轻易的找到需要的信息，通过层层分析最后编写爬虫：

代码如下：

import json
import requests
from bs4 import BeautifulSoup
import pymongo
from pymongo import MongoClient
'''
需用用到的库有json requests BeautifulSoup 
新闻的存储方式采用pymongo进行数据存储
'''

def get_html(page):
    url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gjxw&level==1||=2&show_ext=1&show_all=1&show_num=22&tag=1&format=json&page={}'
    #进行页面请求时，我们添加捕获异常的处理语句
    try:
        res=requests.get(url.format(page))
        if res.status_code==200:#状态码为200表示请求成功
            return res.text
    except TimeoutError:
        print('请求失败!')
        return None
'''
该函数用来获取的新闻链接
'''
def parser_url(html):
    urls=[]
    jd=json.loads(html)['result']['data']#使用json进行解析
    for data in jd:
        url=data['url']
        urls.append(url)
    return urls
def parse_content(urls):
    '''
    采用CSS选择器对网页进行解析
    :param urls:
    :return:
    '''
    for url in urls:
        srcs = []#一篇新闻可能含有多个图片，用scrs来存放
        article = []#存放一篇新闻
        res=requests.get(url)
        res.encoding='utf-8'#不设置utf-8编码，会出现乱码的情况
        soup=BeautifulSoup(res.text,'lxml')
        show_author=soup.select('.show_author')[0].text[5:]#将字符串为责任编辑： 去掉
        date=soup.select('.date')[0].text #获取日期
        title = soup.select('.main-title')[0].text#获取新闻标题
        source = soup.select('.source')[0].text#新闻来源
        print(title)
        for i in soup.select('.article p'):
            #获取每一个新闻段落，并存放在列表article中
            print(i.text)
            article.append(i.text)
        #打印相关信息
        print(show_author)
        print(source)
        print(date)
        for i in soup.select('.img_wrapper img'):
            srcs.append(i.get('src'))
            print(i.get('src'))
        #构造一个字典用于存储抓取下来的所有信息
        information={
            'title':title,
            'article:':article,
            'show_author': show_author,
            'source':source,
            'data':date,
            'src':srcs
        }
        save_mongodb(information)
    return information
def save_mongodb(information):
    client = MongoClient('mongodb://localhost:27017/')
    db=client.mongodb_news#创建名为mongodb_news的数据库
    if db['news'].insert(information):
        print("插入mongodb数据库成功!")
    else:
        print("插入mongodb数据库失败!")
def start():
    for i in range(1,10):
        html=get_html(i)
        urls=parser_url(html)
        parse_content(urls)
if __name__=='__main__':
    start()

运行如下:

数据库连接

小提示：在运行程序时一定要记得先连接mongodb数据库