1、初识网络爬虫
1.1 网络爬虫概述
网络爬虫(又被称作网络蜘蛛、网络机器人),可以按照指定的规则(网络爬虫算法)自动浏览或抓取网络中的信息。
1.2 网络爬虫的分类
- 通用网络爬虫
- 聚焦网络爬虫
- 增量网络爬虫
- 深层网络爬虫
1.3网络爬虫的基本原理
一个通用的网络爬虫基本工作流程如图所示。
2、网络爬虫的常用技术
URL地址与下载网页,这两项是网络爬虫必备而又关键的功能,说起这两个功能必然是离不开HTTP的,在Python中实现HTTP网络请求常见的三种方式:urllib、urllib3和requests,个人比较喜欢用requests,下面简单介绍下吧!
2.1 Python的网络请求之requests模板
requests是python中实现HTTP请求的一种方式,requests是第三方模块,该模块在实现HTTP请求时要比urllib模块简化很多,操作更加人性化,在使用requests模块时需要通过执行 pip install requests 代码进行该模块的安装。
以get请求方法为例,打印多种请求信息的示例代码如下所示
。
import requests #导入模板
res = requests.get('http://www.baidu.com')
print(res.status_code) #打印状态码
print(res.url) #打印请求URL
print(res.headers) #打印头部信息
print(res.cookies) #打印cookie信息
print(res.text) #以文本形式打印网页源码
print(res.content) #以字节流形式打印网页源码
2.2 请求headers处理
有时在请求一个网页内容时发现无论通过GET或者是POST以及其他请求方式都会出现403错误。这种现象多数为服务器拒绝了您的访问,那是因为这些网页为了防止恶意采集信息所使用的反爬虫设置。此时可以通过模拟浏览器的头部信息来进行访问,这样就能解决以上的反扒设置的问题。
import requests
url = 'https://www.baidu.com/' #创建需要爬取网页的网址
#创建头部信息
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'}
res = requests.get(url, headers = headers)
print(res.text)
2.3 HTML解析之Xpath
解析HTML可以使用beautifulsoup(简单),xpath、正则表达式(比较难)等,个人比较喜欢用xpath,运行效率较高且难度适中。关于xpath可以参考专业文档xpath教程 ~
3、小结
哈哈我写的这部分都是很基础的知识,第一次写有点草率且不成熟,以后会继续努力学习哒~争取下次能把脑海里一闪而过的奇思妙想沉淀在blogs里面。
实践出真知!