python学习之第十一天

知识点目录
1.常见的加密算法
2.md5加密算法依赖于哪个包?
3.md5的特点是什么?如何解密
4.爬虫的分类有哪些
5.爬虫的目的是什么?
6.网页大体可以分为哪几类?
7.url基本格式是什么
8.常用的网络协议有哪些
9.http和https的区别是什么
10.get和post的区别是什么
11.常用的端口号有哪些
12.客户端和服务器如何交流?
13.浏览器发送请求的过程
14.常用的请求方法有哪些
15.常见的报文有哪些?
16.请求(响应)报文结构是什么
17.常见的请求头有哪些
18.常见的状态码有哪些?
19.网络的七层协议是什么
20.http/smtp/udp/tcp等分别位于哪一层
21.http常用的版本是哪个
22.http的工作原理
23.cookie的常用字段有哪些
24.常用的抓包工具
25.常用的网络请求库有哪些
26.如何用requests获取音乐等接口的数据

1.常见的加密算法

MD5
DES
AES
HASH+盐

2.md5加密算法依赖于哪个包?

hashlib

3.md5的特点是什么?如何解密

特点:
1.md5加密不可逆
2.加密后数据定长(一般32位)
3.是一种摘要算法

代码实现
import hashlib
def getMd5(password):
     md5=hashlib.md5()
     md5.update(password.encode())
     password=md5.hexdigest()
     return password

解密依赖于数据库查询

4.爬虫的分类有哪些

1.通用爬虫
通用网络爬虫是捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。
缺点:
1.通用搜索引擎所返回的结果都是网页，而大多情况下，网页里90%的内容对用户来说都是无用的。
2.不同领域、不同背景的用户往往具有不同的检索目的和需求，搜索引擎无法提供针对具体某个用户的搜索结果。
3.万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎对这些文件无能为力，不能很好地发现和获取。
4.通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询，无法准确理解用户的具体需求。

2.聚焦爬虫
聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序。
它与通用搜索引擎爬虫的区别在于： 聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息。

5.爬虫的目的是什么?

淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。
知乎：爬取优质答案，为你筛选出各话题下最优质的内容。
安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。
拉勾网、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。
雪球网：抓取雪球高回报用户的行为，对股票进行分析和预测。
去哪儿网：模拟登陆。
机器学习的数据样本。
推荐引擎：今日头条，根据浏览习惯猜测并推送数据。
搜索引擎：baidu,Google，爬取所有信息。

6.网页大体可以分为哪几类?

静态网页
页面是写死的，爬起来最简单
动态网页(js,ajax)
根据参数的不同对应不同的页面，数据动态加载，爬虫有一定难度

7.url基本格式是什么

URL=UniformResourceLocator=统一资源定位符 也就是网址
url格式
协议类型://IP地址:端口号/子路径/文件名
协议类型:http/https/ftp
IP地址=DomainName baidu.com qq.com
端口号  80 443 8000   1-65535

8.常用的网络协议有哪些

Telnet（Remote Login）：提供远程登录功能，一台计算机用户可以登录到远程的另一台计算机上，如同在远程主机上直接操作一样。
Telnet（远程登录）协议代理服务器常用端口号：23

SMTP（Simple Mail transfer Protocol）：简单邮政传输协议，用于传输电子邮件。
UDP（User Datagram Protocol）：用户数据包协议，它和TCP一样位于传输层，和IP协议配合使用，在传输数据时省去包头，但它不能提供数据包的重传，所以适合传输较短的文件。
TCP协议
如果IP数据包中有已经封好的TCP数据包，那么IP将把它们向“上”传送到TCP层。
TCP将包排序并进行错误检查，同时实现虚电路间的连接。TCP数据包中包括