Python爬虫---爬虫介绍,实战案例

1、爬虫介绍

什么是爬虫?
– 通过编写程序,模拟浏览器上网,然后让其去互联网上抓取数据的过程
浏览器抓取的是一个整页面,而我们很多时候爬虫是先抓取符合特定要求的信息

1.1 爬虫的合法性

在法律中是不被禁止的,但具有违法风险
不合法:爬虫+黑客技术,攻击别人的网站
善意爬虫 -搜索引擎里的抓取系统其实就是各自编写的一个爬虫程序
恶意爬虫 - 抢票软件对12306的多次操作
爬虫类似骚扰电话,网络爬虫会对web开发带来问题

爬虫带来的风险可以体现在如下2个方面:

  • 骚扰问题:爬虫行为干扰了被访问网站的注册运营
  • 法律问题:爬虫抓取的数据用于牟利将带来法律风险

如何避免进局子?

  1. 时常优化自己的程序,避免干扰被访问网站的正常运行
  2. 在使用、传播爬取到的数据时,审查抓取到的内容,涉及用户隐私或者商业机密等敏感内容,及时停止爬取或传播

因为这些问题,网站人员会限制爬虫:

  1. 来源审查:判断User-Agent进行限制,如果User-Agent字段不是已知的浏览器,则很可能是爬虫
  2. 发布公告:Robots协议,告知可爬取的内容

1.2 网络爬虫的尺寸

在这里插入图片描述
大规模的全网爬虫,类似百度,谷歌这种浏览器,速度是关键

爬虫在使用场景中的分类
1.通用爬虫:(搜索引擎中的抓取系统重要部分)抓取的是一整张页面的数据
2.聚焦爬虫:是建立在通用爬虫的基础上。抓取的是页面中特定的局部内容。(先通用爬虫找到一页面,再聚焦爬虫找到页面中局部内容)
3.增量爬虫:监测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

爬虫中的矛与盾?
例子:电商中店家,一方面希望产品被爬取,这样会增加产品的流量。另一方面,不希望被同行爬取,或得产品价格、产品描述等详细信息

反爬机制
门户网站,通过制定相应策略或技术手段,防止爬虫程序进行网站数据的爬取。

反反爬策略
爬虫程序通过制定相关策略或技术手段,破解门户网站中的反爬机制,从而获得门户网站中的相关数据

1.3 robots.txt协议

robots-机器人
use-agent
disallow

  • —表示所有
    君子协议。规定了哪些数据可以被爬取哪些数据不可以被爬取。
    如何查看:网站地址/robots.txt
    例如:https://www.taobao.com/robots.txt
    如果网站没用robosts协议,默认允许所有爬虫

1.4 http&https协议

http协议-超文本传输协议
概念:服务器与客户端进行数据交互的一种形式。http是一种基于“请求与响应”模式的、无状态的应用层协议。
无状态是指:第一次请求与第二次请求之间没有关联
应用层协议:该工作在TCP协议之上
HTTP协议采样URL作为定位网络资源的标识
在这里插入图片描述
理解URL:通过HTTP协议存取资源的Internet路径,一个url对应一个数据资源
在这里插入图片描述
patch与put的对比:
在这里插入图片描述

常用请求头信息:
User-Agent : 请求载体的身份标识(浏览器的标识,例谷歌。)
Connection : 请求完毕后,是断开连接还是保持连接

常用响应头信息:
Content-Type :服务器响应回客户端的数据类型(可以是字符串类型,jesen类型等)

https协议:
https协议与http协议几乎类似,唯一的区别是s (secure安全)
安全的http协议,安全的超文本传输协议,安全涉及到数据加密,交互、传输过程中的数据是加密过的。

加密方式:

  • 对称密钥加密:客户端把密钥+密文发给服务器,缺点容易被截取
  • 非对称密钥加密:服务器发公钥给客户端,客户端据此加载密文后传回,缺点公钥可能会被拦截且篡改
  • 证书密钥加密(https采取的证书密钥加密):引入一个证书认证机构

1.5 requests模块

网络请求模块:urllib模块与 requests模块
requests模块:python中原生的一款基于网络请求的模块,功能强大,简单便捷,效率极高。
作用:模拟浏览器发请求。

如何使用?(requests模块的编码流程)
遵从浏览器发请求的流程

  1. 指定url (要访问的网页)
  2. 发起请求
  3. 获取响应数据
  4. 持久化存储响应数据

环境安装:pip install requests
测试:import requests

实战:

  1. 需求1:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)
    UA检测、UA伪装

  2. 需求2:破解百度翻译
    post请求(携带了参数)
    响应数据是一组json数据

  3. 需求3:爬取豆瓣电影分类排行榜中电影详情数据

request.get(url,params=None,**kwargs)
url :拟获取页面的url链接
params: 参数,字典或者字节流格式
**kwargs: 12个控制访问的参数

r.status.code —状态码。如果是200说明请求成功,否则请求失败
type® —是一个类
r.headers ----get请求获得页面的头部信息
r.text----http响应内容的字符串形式,即url对应的页面内容
r.encoding ----编码方式
r.apparent_encoding — 备选编码方式
r.content—HTTP响应内容的二进制形式
在这里插入图片描述
使用requests.get请求时的流程:
在这里插入图片描述

1.5.1 request库的异常

在这里插入图片描述
r.raise_for_status() —用来查看是否异常,如果不是200,产生requests.HTTPError异常

通用代码框架:

import requests
def getHTMLText(url):
	try:
		r = requests.get(url,timeout=30)
		r.raise_for_status() #如果不是200,产生requests.HTTPError异常
		r.encoding = r.apparent_encoding  #让编码为utf-8
		return r.text
	except:
		return "产生异常"

if __name__ =='__main__':
	url = "https://www.baidu.com"
	print(getHTMLText(url))  #正常输出内容

Requests库的7个主要方法
在这里插入图片描述
最常使用的方法:requests.get()

2、实战案例

2.1 百度页面

import requests
r = requests.get("https://www.baidu.com")
r.status_code  #输出200---正常
r.text  #输出乱码
r.encoding  #不是utf-8
r.encoding = 'utf-8'
r.text #这是输出内容出现中文,我们可读

如果header中不存在charset,则认为编码为ISO-8859-1,但这个没法解析中文

2.2 爬取京东商品页面

import requests
url = "https://item.jd.com/236897.html"   #某一个具体商品的链接
try:
	r = requests.get(url) 
	r.status_for_status()  #输出200,访问正常
	r.encoding = r.apparent_encoding
	print(r.text[:100])
except:
	print("爬取失败")

2.3 爬取亚马逊商品页面-更改headers

import requests
r = requests.get("https://www.amazon.cn/gp/product/Bo1M8L5z3Y")
r.status_code  #输出503---不正常
r.text  #输出乱码
r.encoding  #不是utf-8
r.encoding = 'utf-8'
r.text  #输出内容还是有问题
r.request.headers #头信息诚实的告诉了网站是python爬虫

kv = {'user-agent','Mozilla/5.0'} #字段写成了Mozilla/5.0一个浏览器
url = "https://www.amazon.cn/gp/product/Bo1M8L5z3Y"
r = requests.get(url,headers = kv)
r.status_code  #输出200
r.text[:1000]

2.4 百度/360搜索关键词提交-params

在这里插入图片描述

import requests
kv = {'wd':'Python'}
r = requests.get("http://www.baidu.com/s",params = kv)
r.status_code  #200
r.request.url  #输出完整的url:http://www.baidu.com/s?wd=Python
len(r.text) #太大了,先不打印

2.5 网络图片的爬取和存储

如果一个url链接是以.jpg结尾,则表示的是一个图片文件

import request
path = "D:/abc.jpg"  #保存的目标路径
url = "http://........jpg" #图片的url
r = requests.get(url)
r.status_code  #200
with open(path,'wb') as f:   #打开路径并写入
	f.write(r.content)

用图片原本的名字命名:
在这里插入图片描述
图片、视频、动画等都是类似这种

2.6 IP地址归属地的自动查询

IP138网站提供了IP地址查询归属地的功能,所以借助IP138网站

import requests
url = "http://m.ip138.com/ip.asp?ip="
r = requests.get(url+'202.204.80.112')
r.status_code  #200
r.text[-500:] #内容可能会很大,所以一般取前1000,或者后500

网站平台提供的一些点查询的功能,可能都是通过链接来实现的

2.7 爬取搜狗首页

需求:爬取搜狗首页的页面数据

#!/usr/bin/env python
# -*- coding:utf -8 -*-
#- 需求:爬取搜狗首页的页面数据
import requests
if __name__ == "__main__":
    #step 1:指定url
    url = "https://www.sogou.com/"
    #step 2:发起请求
    #get方法会返回一个响应对象
    response = requests.get(url=url)
    #step 3:获取响应数据,.text返回的是字符串形式的响应数据
    page_text = response.text  #即将该页面的编码以字符串形式返回给了page_text
    print(page_text)  #打印出来观察一下,打印出的是源码数据
    #step 4:持久化存储响应数据
    #搜狗首页的源码数据存储在当前地址的sogou.html文件中
    with open('./sogou.html','w',encoding= 'utf-8') as fp:
        fp.write(page_text)
    print('爬取数据结束!!!')

结束后点击文件夹中的sogou.html项目,加载出来的网页即爬出来的页面

2.8 搜索词条

需求1:爬取搜狗指定词条对应的搜索结果页面(简易网页采集器)

#!/usr/bin/env python
# -*- coding:utf-8 -*-

#UA:User-Agent(请求载体的身份标识)
#UA伪装 :门户网站的服务器会检测对应请求的载体身份标识,
# 如果检测到请求的载体身份标识为某一款浏览器,说明该请求是一个正常请求。但是。。
#但是如果检测到请求的载体身份标识不是基于某一款浏览器的,则表示该请求为不正常的请求(即是爬虫)则服务器很有可能会拒绝此请求
#所以,每次爬虫中要进行UA伪装,这一反爬
#UA伪装:让爬虫对应的请求载体身份标识伪装成某一款浏览器
import requests
if __name__ == "__main__":
    #UA伪装:将对应的USer-Agent 封装到一个字典中
    #headers封装的是一个基于谷歌浏览器的
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    url = 'https://www.sogou.com/web?'
    #处理url携带的参数:封装到字典中
    kw = input('enter a word:')
    param = {
        'query':kw
    }
    #对指定的url发起的请求对应的url是携带参数的,并且请求过程中处理了参数
    response=requests.get(url = url,params=param,headers = headers) #动态拼接params参数

    page_text = response.text
    fileName = kw+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功!!!')

输入自己想要查询的关键词,爬取出浏览器搜索出的结果页面

2.9 破解百度翻译

数据解析:一张页面中的局部解析
局部页面刷新:
post请求(携带了参数)

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import json
if __name__ == '__main__':
    #1,指定url
    post_url = 'https://fanyi.baidu.com/sug'
    #2,请求前进行UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    #3,post请求参数处理(同get请求一致)
    word = input('enter a word:')
    data = {
        'kw':'word'
    }

    #4,请求发送
    response = requests.post(url = post_url,data = data,headers = headers)
    #5,获取相应数据
    # 本例中拿到json数据,json()方法返回的是obj。只有确认拿到的响应数据是json类型时,才可以用json()(看Content-Type: application/json)
    dic_obj = response.json()


    #持久化存储
    fileName = word + '.json'
    fp = open(fileName,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)#ensure_ascii拿到的是中午,不能用ascii
    print('over!!')

2.10 豆瓣电影排行

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import json
#滑动页面,会刷新页面---json数据
#Content-Type: application/json; ---确定是json数据
if __name__=='__main__':
    url = 'https://movie.douban.com/j/chart/top_list'
    #url 复制过来,但是字典形式要重新封装
    param = {
        'type': 24,
        'interval_id': '100:90',
        'action':'',
        'start': 0,  #从库中第几部电影开始取,从0开始
        'limit': 20,   #一次取出的个数
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    response = requests.get(url=url,params = param,headers=headers)
    list_data = response.json()
    fp = open('./douban.json','w',encoding='utf-8')
    json.dump(list_data,fp=fp,ensure_ascii=False)
    print('over!!')

2.11 爬取肯德基餐厅查询指定地点的餐厅

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
import json
#滑动页面,会刷新页面---json数据
#Content-Type: application/json; ---确定是json数据
if __name__=='__main__':
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
    kw = input('enter a word:')
    param = {
        'cname':'',
        'pid':'',
        'keyword': kw,
        'pageIndex': 1,
        'pageSize': 10,
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    response = requests.get(url=url,params = param,headers=headers)
    page_text = response.text
    fileName = kw+'.html'  #存入文件的文件名
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功!!!')

有点不理解,为啥这里url的问号后面部分不删掉?

2.12 爬取国家药品监督管理局

网站设置了新的反爬机制,无法实际爬到,但思路仍然值得学习

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
if __name__ = "__main__":
	url = ''
	headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    response = requests.get(url=url,params = param,headers=headers)
    page_text = response.text
    with open('./huazhuangpin.html','w',encoding='utf-8') as fp:
    	fp.write(page_text)
    

代码测试or抓包工具,得到不是由于地址栏中的url得到的。可能是由于ajax请求得到的
XHR中的ajax请求包
通过对详情页的url分析得到:

  1. url的域名都是一样的,只有携带的参数id不一样
  2. id值可以从首页对应的ajax请求到的json中获取
  3. 域名和id值拼接出一个完整的详情页的url
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import requests
if __name__ ="__main__":
	url = '首页的url'
	data = {
		参数键值形式}
	headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
    }
    id_list=[]#存储企业的id
    all_Data_list = []#存储所有的企业详情数据
    json_jds = requests.post(url=url,params = param,headers=headers).json()
    #json_jds字典形式,从其中获取id
    for dic in json_ids['list']:
    	id_list.append(dic['ID'])
    
    #获取企业的详情
    post_url = '详情页的url'
    for id in id_list:
    	data = {
    		'id':id}
    	detail_json = requests.post(url=url,params = param,headers=headers).json()
    	#print(detail_json,'-----ending-----')
    	all_data_list.append(detail_json)
	#持久化存储all_data_list
	fp = open('./allData.json','w',encoding='utf-8')
	json.dump(all_data_list,fp=fp,ensure_ascii=False)
	print('over!!')
    
  • 1
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值