1.网络爬虫基础使用
(1)urllib介绍:
urllib中包括了四个模块,包括:
- urllib.request:可以用来发送request和获取request的结果
- urllib.error:包含了urllib.request产生的异常
- urllib.parse:用来解析和处理URL
- urllib.robotparse:用来解析页面的robots.txt文件
(2)urllib.request
- urllib.request 模块提供了最基本的构造 HTTP 请求方法,可以模拟浏览器向服务器发送请求。
- 使用方法:
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None,
cadefault=False, context=None)`
利用urlopen()方法可以实现最基本的http请求发起,但这几个简单的参数并不足以构建一个完整的请求。 ·此时必须使用强大的Request类,这样就可以在请求中加入需要的headers等信息。
(3)urllib.request.Request
- 使用方法:
urllib.request.Request(url, data=None, headers={}, origin_req_host=None,
unverifiable=False, method=None)
- url参数是请求链接,这个是必传参数。
- headers 参数是请求头,是一个字典,你可以在构造 Request 时通过 headers 参数传递。
2.简单爬虫代码如下所示:
import urllib.request
import re
url = "http://news.baidu.com/"
#header参数是一个字典,将爬虫伪装浏览器用户
header = {
'User-Agent':'User-Agent:Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)'
}
req = urllib.request.Request(url,headers=header)
#执行请求获取响应信息
res = urllib.request.urlopen(req)
# 从响应对象中读取信息并解码
html = res.read().decode("utf-8")
#使用正则表达式筛选新闻标题信息
pat = '<a href="(.*?)" .*? target="_blank">(.*?)</a>'
#获取字符串html中所有匹配的pat,返回一个data的列表
data = re.findall(pat,html)
#把列表data 遍历输出结果
for v in data:
print(v[1]+":"+v[0])
爬取结果如下所示:
刘鹤将于5月9日至10日访美进行第十一轮磋商:http://www.xinhuanet.com/world/2019-05/07/c_1124461749.htm
外交部记者会上,耿爽三次提到"加征关税解决不了任何问题":https://3w.huanqiu.com/a/288fc5/7MudnVWCAAE?agt=8
张骥任中纪委驻外交部纪检组组长 谢杭生不再担任:https://3w.huanqiu.com/a/9c1a38/7MtC4Z9GOzu?agt=8
结束五连涨:4月中国外汇储备环比减少38亿美元:http://baijiahao.baidu.com/s?id=1632863765990324494
官方通报“南京应用技术学校部分学生学籍问题处理情况”:https://3w.huanqiu.com/a/5a0902/7MueBM9hEpa?agt=8
齐鲁天和惠世制药“4·15”重大着火中毒事故:7人被批捕:http://baijiahao.baidu.com/s?id=1632866940875903479
辽宁检察机关对努尔·白克力涉嫌受贿案提起公诉:https://3w.huanqiu.com/a/03925f/7MtZdgyPGgM?agt=8
津门再落"警虎":在公安局系统浸淫35年 系武长顺的老下属:http://baijiahao.baidu.com/s?id=1632870987732840807
连续两日收跌市值蒸发千亿 贵州茅台失守900元关口:http://baijiahao.baidu.com/s?id=1632861852408828909
信访干部喊话群众“给我滚出去” 官方回应:对其严肃批评:https://baijiahao.baidu.com/s?id=1632851128793722522&wfr=content
王金平在大陆向两岸发出呐喊:我们都是中华民族的一份子:https://baijiahao.baidu.com/s?id=1632861573847059409&wfr=content
陈水扁女儿:民进党哪个人选举没拿我爸钱?:http://baijiahao.baidu.com/s?id=1632849599389778952
为了3000条人命,他们要和特朗普没完:https://3w.huanqiu.com/a/57c180/7MuggNEn5Go?agt=8
中日商定年内举行第十一轮海洋事务高级别磋商 外交部回应:http://baijiahao.baidu.com/s?id=1632859275369121493
梅根和哈里的双国籍宝宝,既可继承英王位又可竞选美总统?:http://baijiahao.baidu.com/s?id=1632853888396507125
委内瑞拉检方:233人因涉嫌参与政变被拘捕:http://baijiahao.baidu.com/s?id=1632861359511955441
日本F35A战机黑匣子找到了 “中国造”打捞船立大功:https://3w.huanqiu.com/a/21eee3/7MtZzddaAuc?agt=8
菲律宾中期选举临近,总统杜特尔特家族陷“涉毒”指控:https://3w.huanqiu.com/a/0c789f/7Mu8M6jERJm?agt=8
巴黎圣母院屋顶怎么盖?法媒选出7款"奇葩"方案(图):https://3w.huanqiu.com/a/21eee3/7MuftX9QWw8?agt=8
俄航失事客机内部画面公开:庞然大物只剩骨架:https://baijiahao.baidu.com/s?id=1632855250551995163&wfr=content
7500张照片、超26万个星系,哈勃公布迄今最详细宇宙图谱:http://baijiahao.baidu.com/s?id=1632845181167737554
周星驰投资人想成为第二个王思聪?曾花1000万买热搜:http://baijiahao.baidu.com/s?id=1632858864315595105
揭美国名校招生"潜规则":拼成绩、拼关系、拼爹:http://baijiahao.baidu.com/s?id=1632871379192567683
变汉堡,戴蜡烛…穿成这样,这些好莱坞明星是要去干嘛:https://3w.huanqiu.com/a/57c180/7Mu6dW924H6?agt=8
司机酿奇葩车祸"引擎盖长树",交警到场忍不住笑喷:http://baijiahao.baidu.com/s?id=1632860467052867015
刺伤浙大保安的外卖员已被警方控制,派发订单平台尚未公布:http://baijiahao.baidu.com/s?id=1632865372174480731
毒针射杀狗后卖狗肉8万斤,16人团伙获刑5人被判赔567万:https://3w.huanqiu.com/a/0c789f/7MufDMV5uRa?agt=8
吸毒风波后罕见现身!陈羽凡聚会笑容满面 穿着随意脸圆一圈:https://baijiahao.baidu.com/s?id=1632859224456786255&wfr=content
田亮的儿子写了首诗,网友:哈哈哈哈哈真是个鬼才:https://3w.huanqiu.com/a/1b9fb2/7MugaWzTB72?agt=8
父亲替38岁女儿相亲:不敢公开高学历 怕没人询问:https://baijiahao.baidu.com/s?id=1632857273585122131&wfr=content
美团的破茧成蝶时刻:http://baijiahao.baidu.com/s?id=1632825425220509686
腾讯短视频全面扑街了?:http://baijiahao.baidu.com/s?id=1632830338712540530