beautifulsoup爬取百度新闻 朴素贝叶斯实现新闻类型分类（一）

beautifulsoup爬取百度新闻

1 首先需要观察你要爬取的目标网站的页面结构，点击F12，从chrome开发者工具里能看到html对应的body，再往里面点击查看所需内容对应的标签：点击百度新闻，你会发现不同类型的新闻，被划分为不同的路径：如：娱乐新闻 http://news.baidu.com/ent ；体育新闻http://news.baidu.com/sports。借助python request直接访问路由，封装到bs4.BeautifulSoup(res.text)，可以获得整个网页内容

2 由soup.select('a')调用该网页内部所有的超链接网址，对每一个网址再次调用bs4.BeautifulSoup(res.text)，获得整个网页内容

3 发现大部分路由来源于百家号，url固定为 ‘http://baijiahao.baidu.com/s?id= ’ ，'.article-title'、'.article-content p'为对应的页面标题和内容，通过过滤拿到符合条件的结果

4 借助pandas工具将对应的内容拼接，保存为excel文件

# !/usr/bin/python
# -*- coding:utf-8 -*-

import warnings
import requests,sys,webbrowser,bs4,re
import pandas as pd
warnings.filterwarnings("ignore")

res=requests.get('http://news.baidu.com/ent')  #step1
soup=bs4.BeautifulSoup(res.text) #step2
link=soup.select('a') #step4
numOpen=len(link)
urlList = set()
uinfo = []
for i in range(min(100,numOpen)):
    a = ''
    a = str(link[i].get('href'))
    if a.startswith("http://baijiahao.baidu.com/s?id=") and (a not in urlList):
        urlList.add(a)
        res = requests.get(a)
        soup = bs4.BeautifulSoup(res.text)  # step2
        linkTitle = soup.select('.article-title')  # step4
        title = ""
        for i in linkTitle:
            if str(i.string).strip().isspace():
                continue
            title = title + str(i.string)


        linkContent = soup.select('.article-content p')
        content = ""
        for i in linkContent:
            if str(i.string).strip().isspace() or str(i.string)=='None':
                continue
            content = content + str(i.string)
        if len(title) and len(content):
            uinfo.append([title, content])


path = "learningNotebook2.xlsx"
uinfo = pd.DataFrame(uinfo, columns=['新闻标题', '新闻内容'])
uinfo.to_excel(path, index=False)