零基础入坑爬虫—Python网络爬虫的应用实战以及数据采集

本文链接：https://blog.csdn.net/2401_84140112/article/details/138861609

最后

🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。
🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。
🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

4、保存数据

数据库（MySQL，Mongdb、Redis）

文件

在这里插入图片描述

四、http协议请求与响应

在这里插入图片描述

Request：用户将自己的信息通过浏览器（socket client）发送给服务器（socket server）

Response：服务器接收请求，分析用户发来的请求信息，然后返回数据（返回的数据中可能包含其他链接，如：图片，js，css等）

ps：浏览器在接收Response后，会解析其内容来显示给用户，而爬虫程序在模拟浏览器发送请求然后接收Response后，是要提取其中的有用数据。

五、爬虫实例

利用socket下载一张图片

1、socket学习

socket国外翻译为插座;同时，由于其具备了“套接"和“字"的概念，所以又称为套接字。
在这里插入图片描述

知识补给站：（混个眼熟就行了！）

1、Socket是一种进程间通信机制提供一种供应用程序
2、访问通信协议的操作系统调用，使得网络读写数据
3、和读写本地文件一样容易;Socket是一序列的“指令”
4、已经具备了“套接”（建立网络通讯或进程间通讯）和“字”（可交互的有序指令串）的概念。

在这里插入图片描述

（1）使用socket简单建造一个服务端：

import socket# 服务器对象server = socket.socket()'''等同于：server = socket.socket(socket.AF\_INET, socket.SOCK\_STREAM)socket.AF\_INET：使用IPV4；socket.SOCK\_STREAM：创建一个socket套接字。'''

# 1.绑定服务器server.bind(("0.0.0.0",8800)) #0.0.0.0是允许所有人来访问；8800是端口号
# 2.监听server.listen(5)
while True:    # 3.等待连接 # accept是一个阻塞的方法（你不来我就不动！），等待连接，每建立一个连接就会创建一个单独的通道。# conn:通道参数；addr：通道地址。conn,addr=server.accept()
    # 4.接收数据 data=conn.recv(1024) print(data)
    response="HTTP/1.1 200 OK\r\nContent-Type: text/html;charset=utf-8;\r\n\r\n我很帅！"
    # 5.发送数据 conn.send(response.encode()) print("已经响应")
# 6.关闭server.close()

在本地浏览器中输入:127.0.0.1:8800即可访问到此服务端

（2）使用socket简单建造一个客户端:

（爬取百度首页整个界面)

import socket

# 建立服务器对象 通过打印这个client服务器对象可知：默认使用的是IPV4，协议是TCP。
client=socket.socket()
# 1.建立连接
client.connect(("www.baidu.com",80))
# 构造请求报文
data=b"GET / HTTP/1.1\r\nHost: www.baidu.com\r\n\r
# 2.发送请求
client.send(data)
res=b""
# 3.接收数据
temp=client.recv(4096)
while temp:
    print("\*"\*50)
    res += temp
    temp = client.recv(4096)
    print(temp.decode())
# 4.断开连接
client.close()

2、实战：使用socket来爬取一张漂亮MM的图片

我们来爬爬搜狗

（1）首先分析网页
在这里插入图片描述