day19-Spider01

最新推荐文章于 2024-06-02 16:38:43 发布

Eshel_

最新推荐文章于 2024-06-02 16:38:43 发布

阅读量479

点赞数 1

分类专栏： python语言基础 python学习文章标签：爬虫数据挖掘 python

本文链接：https://blog.csdn.net/Eshel_/article/details/124695257

版权

python语言基础同时被 2 个专栏收录

31 篇文章 1 订阅

订阅专栏

python学习

29 篇文章 0 订阅

订阅专栏

1. 爬虫简介

数据分析、数据挖掘，先分析再挖掘（前提：有数据）。

数据来源：1. 数据库；2. 爬虫；3. 其他平台（API）。

1.1 爬虫的概念

Spider：蜘蛛 --> 爬虫：可以在互联网的任意位置获取数据。

爬虫，别名（网页蜘蛛、蠕虫），学名：网络数据采集。

根据程序员的自定义规则（想法）在互联网中自动的爬取数据（图片、音频、视频、文字等都叫做数据）。

1.2 爬虫学习流程

1.2.1 爬虫对谁做操作？

表面：爬虫对网页做操作；
深层次：爬虫对服务器做操作。

1.2.2 对网页操作

1）外面需要有HTML、CSS、JavaScript的知识，需要理解某个页面的结构；

2）浏览器页面F12或者FN + F12或者右键检查或者浏览器设置都可以打开开发人员工具；

3）网页分为静态页面和动态页面。

1.2.3 使用三方模块

requests向目标网站的服务器发起请求，服务器根据请求返回响应结果response（对象），对response响

应结果处理完得到的是字符串（HTML页面源代码）。

1.2.4 从页面源代码中得到所需内容

1）方法1：正则表达式匹配；

2）方法2：三方模块Beautifulfulsoup4对页面源码进行解析，解析完使用CSS选择器拿到所需内容；

3）方法3：使用三方模块lxml对页面源码解析，使用XPath语法拿到所需内容；

4）方法4：三方模块Selenium访问页面，拿到页面内容，可以同时结合CSS选择器或者XPath语句拿到所需内容。

1.2.5 数据持久化

将RAM中的结果存储到磁盘中或者数据库中。

1.2.6 反反爬措施

写爬虫会遇到各种反爬机制，使用指定的反反爬措施破解。

a. 将爬虫伪装浏览器
b. 封禁IP地址的网站一般使用代理IP：站大爷、芝麻代理、极光代理
c. 文字反扒
d. AJAX异步加载
等…

1.2.7 rpa（机器人流程自动化）

八爪鱼、影刀等。使用拖拉拽（实现了某些功能的模块）的形式实现流程自动化（爬虫等）。

2. 爬虫相关

2.1 静态页面和动态页面区分

2.1.1 静态页面

网页一旦生产，里面的内容不会自动的发生变化。

页面中包含：html（展示页面内容）、css样式（渲染html）、JavaScript（渲染html）。

2.1.2 动态页面

网页生成后，页面内容还会自动发生变化。页面内容和数据库进行联通，数据库中变，页面就变。

一般动态页面都会应用AJXA异步加载。

2.2 HTTP和HTTPS

2.2.1 HTTP协议

HTTP协议（超文本传输协议），Web服务器和客户端直接进行数据传输都是明文形式。

2.2.2 网景公司

网景公司 --> 谋智 --> 火狐浏览器。网景公司根据HTTP协议做了改进 --> HTTPS。

http = http + ssl

ssl加密协议 --> 将web服务器和客户端的数据进行加密。

2.3 cookie

2.3.1 作用

将用户的账号密码使用某些形式保存在本地。

2.3.2 性质

有时效性。

2.3.3 爬虫中cookie作用

在爬虫中cookie作用：将本地的请求和远程的服务器中保存的账号密码做对比。

2.4 GET和POST

GET和POST：两种不同的和服务器对话的方式。

2.4.1 GET

GET：requests利用GET请求方式向服务器发送请求（加密机制很简单甚至不加密）。

2.4.2 POST

POST：向服务器发送内容，例如账号密码（某个网站注册登录账号密码）。

3. 模块安装

3.1 requests的作用

Python实现的简单易用的能够请求网页的三方模块。

3.2 装三方模块准备

如果TErminal中显示的是ps，按照三方模块会直接安装到本机主环境。

使用venv\Scripts\activate激活虚拟环境。

Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
修改微软的powershell策略组。

3.3 修改镜像源

镜像源：存储python三方模块的仓库，python的三方模块所有人都可以制作发布。

3.4 requests模块安装

"""
window：
pip install requests

Mac、linux：
pip3 install requests

"""

4. requests的使用

requests：pyrhon实现的简单易用的网址请求模块。

import requests

4.1 请求网址

URL = 'http://www.baidu.com/'
# 请求百度服务器 + 获取百度服务器响应结果
resp = requests.get(url=URL)

4.2 查看状态码

查看状态码：告诉我们现在服务器的状态: resp.status_code
# 200：爬虫可用
# 403：爬虫被服务器拒绝了
# 404：资源丢失
# 500：服务器崩溃
print(resp.status_code)

4.3 查看cookie

print(resp.cookies)

4.4 如果页面源码发生了乱码，怎么办？

"""
响应结果使用的编码方式默认是ISO-8859-1，它不支持中文。
"""
resp.encoding = 'utf-8'

4.5 查看页面的源代码（字符串形式）

print(resp.text)

4.6 查看页面的源代码（二进制形式）

查看页面的源代码（二进制形式） --> 图片、音频、视频等。

# b'xxxxxxx' --> 二进制
# print(resp.content)

5. 爬虫伪装

User-Agent作用：将爬虫伪装成浏览器。

import requests

URL = 'https://www.baidu.com/'
# 伪装爬虫
# User-Agent作用：将爬虫伪装成浏览器
Headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}

resp = requests.get(url=URL, headers=Headers)
if resp.status_code == 200:
    resp.encoding = 'utf-8'
    print(resp.text)
else:
    print(resp.status_code)

6. requests请求王者荣耀

import requests

def requests_url(href):
    Headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
    }
    resp = requests.get(url=href, headers=Headers)
    if resp.status_code == 200:
        return resp
    else:
        return resp.status_code


URL = 'https://pvp.qq.com/web201605/herolist.shtml'
result1 = requests_url(URL)
result1.encoding = 'gbk'
print(result1.text)

7. 天行数据

import requests
import json

# api接口中的数据是使用json进行传输的
content = input('请输入一个垃圾：')
# api接口请求地址和参数之间使用?连接,参数以key=value的形式传入，参数和参数之间使用&连接
URL = f'http://api.tianapi.com/lajifenlei/index?key=70fc43dfda9dc06c4da4aa6dcac916d3&word={content}'
# 大部分API接口没有反爬机制。
resp = requests.get(url=URL)
print(resp.text, type(resp.text))
# 序列化：loads()
data = json.loads(resp.text)
print(data, type(data))

# 获取json数据中有用信息
for i in data['newslist']:
    print(i['explain'])

8. 图片读取与下载

# 图片读取
with open('1.jpg', 'rb') as f1:
    result = f1.read()
    # print(result)

# 模拟图片下载（图片二进制写入本地文件）
with open('2.jpg', 'wb') as f2:
    f2.write(result)

# 如何下载在线图片、音频、视频？
import requests

# 百度图片链接
URL = 'https://www.baidu.com/img/PCtm_d9c8750bed0b3c7d089fa7d55720d6cf.png'
resp = requests.get(url=URL)
print(resp.content)
with open('baidu.png','wb') as f3:
    f3.write(resp.content)

Eshel_

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
day19-Spider01

1. 爬虫简介数据分析、数据挖掘，先分析再挖掘（前提：有数据）。数据来源：1. 数据库；2. 爬虫；3. 其他平台（API）。1.1 爬虫的概念Spider：蜘蛛 --> 爬虫：可以在互联网的任意位置获取数据。爬虫，别名（网页蜘蛛、蠕虫），学名：网络数据采集。根据程序员的自定义规则（想法）在互联网中自动的爬取数据（图片、音频、视频、文字等都叫做数据）。1.2 爬虫学习流程1.2.1 爬虫对谁做操作？表面：爬虫对网页做操作；深层次：爬虫对服务器做操作。1.2.2 对网页操作1
复制链接

扫一扫