使用python爬虫爬取百度新闻，告诉你社会热点话题

1.网络爬虫基础使用

（1）urllib介绍：

urllib中包括了四个模块，包括：

• urllib.request：可以用来发送request和获取request的结果
• urllib.error：包含了urllib.request产生的异常
• urllib.parse：用来解析和处理URL
• urllib.robotparse：用来解析页面的robots.txt文件

（2）urllib.request

• urllib.request 模块提供了最基本的构造 HTTP 请求方法，可以模拟浏览器向服务器发送请求。
• 使用方法：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None,
       cadefault=False, context=None)`
 

利用urlopen()方法可以实现最基本的http请求发起，但这几个简单的参数并不足以构建一个完整的请求。 ·此时必须使用强大的Request类，这样就可以在请求中加入需要的headers等信息。

（3）urllib.request.Request

• 使用方法：

urllib.request.Request(url, data=None, headers={}, origin_req_host=None,    
          unverifiable=False, method=None)

• url参数是请求链接，这个是必传参数。
• headers 参数是请求头，是一个字典，你可以在构造 Request 时通过 headers 参数传递。

2.简单爬虫代码如下所示：

import urllib.request
import re

url = "http://news.baidu.com/"
#header参数是一个字典，将爬虫伪装浏览器用户
header = {
    'User-Agent':'User-Agent:Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'
}
req = urllib.request.Request(url,headers=header)

#执行请求获取响应信息
res = urllib.request.urlopen(req)

# 从响应对象中读取信息并解码
html = res.read().decode("utf-8")

#使用正则表达式筛选新闻标题信息
pat = '<a href="(.*?)" .*? target="_blank">(.*?)</a>'

#获取字符串html中所有匹配的pat，返回一个data的列表
data = re.findall(pat,html)

#把列表data 遍历输出结果
for v in data:
    print(v[1]+":"+v[0])

爬取结果如下所示：

刘鹤将于5月9日至10日访美进行第十一轮磋商:http://www.xinhuanet.com/world/2019-05/07/c_1124461749.htm
外交部记者会上，耿爽三次提到"加征关税解决不了任何问题":https://3w.huanqiu.com/a/288fc5/7MudnVWCAAE?agt=8
张骥任中纪委驻外交部纪检组组长 谢杭生不再担任:https://3w.huanqiu.com/a/9c1a38/7MtC4Z9GOzu?agt=8
结束五连涨：4月中国外汇储备环比减少38亿美元:http://baijiahao.baidu.com/s?id=1632863765990324494
官方通报“南京应用技术学校部分学生学籍问题处理情况”:https://3w.huanqiu.com/a/5a0902/7MueBM9hEpa?agt=8
齐鲁天和惠世制药“4·15”重大着火中毒事故：7人被批捕:http://baijiahao.baidu.com/s?id=1632866940875903479
辽宁检察机关对努尔·白克力涉嫌受贿案提起公诉:https://3w.huanqiu.com/a/03925f/7MtZdgyPGgM?agt=8
津门再落"警虎"：在公安局系统浸淫35年 系武长顺的老下属:http://baijiahao.baidu.com/s?id=1632870987732840807
连续两日收跌市值蒸发千亿 贵州茅台失守900元关口:http://baijiahao.baidu.com/s?id=1632861852408828909
信访干部喊话群众“给我滚出去” 官方回应：对其严肃批评:https://baijiahao.baidu.com/s?id=1632851128793722522&wfr=content
王金平在大陆向两岸发出呐喊：我们都是中华民族的一份子:https://baijiahao.baidu.com/s?id=1632861573847059409&wfr=content
陈水扁女儿：民进党哪个人选举没拿我爸钱？:http://baijiahao.baidu.com/s?id=1632849599389778952
为了3000条人命，他们要和特朗普没完:https://3w.huanqiu.com/a/57c180/7MuggNEn5Go?agt=8
中日商定年内举行第十一轮海洋事务高级别磋商 外交部回应:http://baijiahao.baidu.com/s?id=1632859275369121493
梅根和哈里的双国籍宝宝，既可继承英王位又可竞选美总统？:http://baijiahao.baidu.com/s?id=1632853888396507125
委内瑞拉检方：233人因涉嫌参与政变被拘捕:http://baijiahao.baidu.com/s?id=1632861359511955441
日本F35A战机黑匣子找到了 “中国造”打捞船立大功:https://3w.huanqiu.com/a/21eee3/7MtZzddaAuc?agt=8
菲律宾中期选举临近，总统杜特尔特家族陷“涉毒”指控:https://3w.huanqiu.com/a/0c789f/7Mu8M6jERJm?agt=8
巴黎圣母院屋顶怎么盖?法媒选出7款"奇葩"方案(图):https://3w.huanqiu.com/a/21eee3/7MuftX9QWw8?agt=8
俄航失事客机内部画面公开：庞然大物只剩骨架:https://baijiahao.baidu.com/s?id=1632855250551995163&wfr=content
7500张照片、超26万个星系，哈勃公布迄今最详细宇宙图谱:http://baijiahao.baidu.com/s?id=1632845181167737554
周星驰投资人想成为第二个王思聪？曾花1000万买热搜:http://baijiahao.baidu.com/s?id=1632858864315595105
揭美国名校招生"潜规则"：拼成绩、拼关系、拼爹:http://baijiahao.baidu.com/s?id=1632871379192567683
变汉堡，戴蜡烛…穿成这样，这些好莱坞明星是要去干嘛:https://3w.huanqiu.com/a/57c180/7Mu6dW924H6?agt=8
司机酿奇葩车祸"引擎盖长树"，交警到场忍不住笑喷:http://baijiahao.baidu.com/s?id=1632860467052867015
刺伤浙大保安的外卖员已被警方控制，派发订单平台尚未公布:http://baijiahao.baidu.com/s?id=1632865372174480731
毒针射杀狗后卖狗肉8万斤，16人团伙获刑5人被判赔567万:https://3w.huanqiu.com/a/0c789f/7MufDMV5uRa?agt=8
吸毒风波后罕见现身!陈羽凡聚会笑容满面 穿着随意脸圆一圈:https://baijiahao.baidu.com/s?id=1632859224456786255&wfr=content
田亮的儿子写了首诗，网友：哈哈哈哈哈真是个鬼才:https://3w.huanqiu.com/a/1b9fb2/7MugaWzTB72?agt=8
父亲替38岁女儿相亲：不敢公开高学历 怕没人询问:https://baijiahao.baidu.com/s?id=1632857273585122131&wfr=content
美团的破茧成蝶时刻:http://baijiahao.baidu.com/s?id=1632825425220509686
腾讯短视频全面扑街了？:http://baijiahao.baidu.com/s?id=1632830338712540530