beautifulsoup爬取百度新闻
1 首先需要观察你要爬取的目标网站的页面结构,点击F12,从chrome开发者工具里能看到html对应的body,再往里面点击查看所需内容对应的标签:点击百度新闻,你会发现不同类型的新闻,被划分为不同的路径:如:娱乐新闻 http://news.baidu.com/ent ;体育新闻http://news.baidu.com/sports。借助python request直接访问路由,封装到bs4.BeautifulSoup(res.text),可以获得整个网页内容
2 由soup.select('a')调用该网页内部所有的超链接网址,对每一个网址再次调用bs4.BeautifulSoup(res.text),获得整个网页内容
3 发现大部分路由来源于百家号,url固定为 ‘http://baijiahao.baidu.com/s?id= ’ ,'.article-title'、'.article-content p'为对应的页面标题和内容,通过过滤拿到符合条件的结果
4 借助pandas工具将对应的内容拼接,保存为excel文件
# !/usr/bin/python # -*- coding:utf-8 -*- import warnings import requests,sys,webbrowser,bs4,re import pandas as pd warnings.filterwarnings("ignore") res=requests.get('http://news.baidu.com/ent') #step1 soup=bs4.BeautifulSoup(res.text) #step2 link=soup.select('a') #step4 numOpen=len(link) urlList = set() uinfo = [] for i in range(min(100,numOpen)): a = '' a = str(link[i].get('href')) if a.startswith("http://baijiahao.baidu.com/s?id=") and (a not in urlList): urlList.add(a) res = requests.get(a) soup = bs4.BeautifulSoup(res.text) # step2 linkTitle = soup.select('.article-title') # step4 title = "" for i in linkTitle: if str(i.string).strip().isspace(): continue title = title + str(i.string) linkContent = soup.select('.article-content p') content = "" for i in linkContent: if str(i.string).strip().isspace() or str(i.string)=='None': continue content = content + str(i.string) if len(title) and len(content): uinfo.append([title, content]) path = "learningNotebook2.xlsx" uinfo = pd.DataFrame(uinfo, columns=['新闻标题', '新闻内容']) uinfo.to_excel(path, index=False)