爬虫中常见的加密算法Base64伪加密，MD5加密【DES/AES/RSA/SHA/HMAC】及其代码实现(一）

罔闻_spider

于 2024-08-01 22:35:41 发布

阅读量772

点赞数 14

分类专栏：爬虫逆向文章标签：爬虫

本文链接：https://blog.csdn.net/yanminghe66666/article/details/140858860

版权

爬虫逆向专栏收录该内容

4 篇文章 0 订阅

订阅专栏

基础常识

首先我们需要明白的是，什么是加密和解密？顾名思义

加密(Encryption): 将明文数据变换为密文的过程
解密(Decryption): 加密的逆过程，即由密文恢复出原明文的过程。

加密和解密算法的操作通常都是在一组密钥的控制下进行的，分别成为是加密密钥(Encryption Key)和解密密钥(Decryption Key)，如下图所示

而加密算法当中又分为是对称加密和非对称加密以及散列算法，其中

对称加密：即加密与解密时使用的是相同的密钥，例如RC4、AES、DES等加密算法
非对称加密：即加密与解密时使用不相同的密钥，例如RSA加密算法等
散列算法：又称为是哈希函数。对不同长度的输入消息产生固定的输出，该输出值就是散列值

Base64伪加密

Base64严格意义上来说不算做事加密的算法，只是一种编码的方式，它是一种用64个字符，分别是A-Z、a-z、0-9、+、/这64个字符，实现对数据的编码，可用于在HTTP环境下传递较长的标识信息。采用Base64编码具有不可读性，需要解码后才能阅读。我们使用Python来对任意网址进行Base64的编码操作，代码如下

python代码实现

import base64

# 想将字符串转编码成base64,要先将字符串转换成二进制数据
url = "www.baidu.com"
bytes_url = url.encode("utf-8")
str_url = base64.b64encode(bytes_url)  # 被编码的参数必须是二进制数据
print(str_url)

output

b'd3d3LmJhaWR1LmNvbQ=='

那么同样地，我们也可以对其进行解码的操作，代码如下

url = "d3d3LmJhaWR1LmNvbQ=="
str_url = base64.b64decode(url).decode("utf-8")
print(str_url)

摘要算法

在 JavaScript 中和 Python中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中可能还经过了其他处理，但是大致的方法是一样的。

消息摘要算法/签名算法：MD5、SHA、HMAC

1. MD5

简介：全称MD5 消息摘要算法，又称哈希算法、散列算法，由美国密码学家罗纳德·李维斯特设计，于 1992 年作为 RFC 1321 被公布，用以取代 MD4 算法。摘要算法是单向加密的，也就是说明文通过摘要算法加密之后，是不能解密的。摘要算法的第二个特点密文是固定长度的，它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。之所以叫摘要算法，它的算法就是提取明文重要的特征。所以，两个不同的明文，使用了摘要算法之后，有可能他们的密文是一样的，不过这个概率非常的低。

1.1 JavaScript 实现

地址：汽车之家

安装对应的模块

// 在依赖项中添加包： --save
npm install crypto-js  --save

使用案例

// 引用 crypto-js 加密模块
var CryptoJS = require('crypto-js')

function MD5Test() {
    var text = "I love python!"
    return CryptoJS.MD5(text).toString()
}

console.log(MD5Test())

1.2 Python 实现

import hashlib

def md5_test2():
    md5 = hashlib.md5()
    md5.update('python'.encode('utf-8'))
    print(md5.hexdigest())

if __name__ == '__main__':
    md5_test2()

总结：MD5哈希视为字符串，而是将其视为十六进制数， MD5哈希长度为128位，通常由32个十六进制数字表示。

2. SHA

简介：全称安全哈希算法，由美国国家安全局（NSA）所设计，主要适用于数字签名标准里面定义的数字签名算法，SHA 通常指 SHA 家族的五个算法，分别是SHA-1、SHA-224、SHA-256、SHA-384、SHA-512，SHA 是比 MD5 更安全一点的摘要算法，MD5 的密文是 32 位，而 SHA-1 是 40 位，版本越强，密文越长，代价是速度越慢。

2.1 JavaScript 实现

// 引用 crypto-js 加密模块
var CryptoJS = require('crypto-js')

function SHA1Encrypt() {
    var text = "I love python!"
    return CryptoJS.SHA1(text).toString();
}

console.log(SHA1Encrypt())

2.2 Python 实现

import hashlib

def sha1_test2():
    sha1 = hashlib.sha1()
    sha1.update('I love python!'.encode('utf-8'))
    print(sha1.hexdigest())

if __name__ == '__main__':
    sha1_test2()

2.3 sha系列特征

sha1:23c02b203bd2e2ca19da911f1d270a06d86719fb

sha224:1ffeffcbe2707dc5d1c10df619203c1a3b620c70394b3c4c106d92e6

sha256:c3a845a318cd654749ea4db6f4d5f9cb5c6e5b0cade46d9dc04af46d32049c7c

sha512:af47f324b77a4885748bfc3f0d9b5a846c0153c589852bb3f185ab6e7a600547b818ab994776e8d24584457f9aac84246b0de971584cebbdd96aa1aee6630f9f

sha1 --》 40

sha224 --》 56

sha256 --》 64

sha512 --》 128

总结：根据长度进行定位、主要还是要去JavaScript里面下断点调试分析

3. HMAC

简介：全称散列消息认证码、密钥相关的哈希运算消息认证码，于 1996 年提出，1997 年作为 RFC 2104 被公布，HMAC 加密算法是一种安全的基于加密 Hash 函数和共享密钥的消息认证协议，它要求通信双方共享密钥 key、约定算法、对报文进行 Hash 运算，形成固定长度的认证码。通信双方通过认证码的校验来确定报文的合法性。

参考资料：

百科：hmac_百度百科

3.1 JavaScript 实现

// 引用 crypto-js 加密模块
var CryptoJS = require('crypto-js')

function HMACEncrypt() {
    var text = "I love python!"
    var key = "secret"   // 密钥文件
    return CryptoJS.HmacMD5(text, key).toString();
    // return CryptoJS.HmacSHA1(text, key).toString();
    // return CryptoJS.HmacSHA256(text, key).toString();
}
console.log(HMACEncrypt())

3.2 Python 实现

import hmac

def hmac_test1():
    message = 'I love python!'.encode()
    key = b'secret'
    md5 = hmac.new(key, message, digestmod='MD5')
    print(md5.hexdigest())

def hmac_test2():
    key = 'secret'.encode('utf8')
    sha1 = hmac.new(key, digestmod='sha1')
    sha1.update('I love '.encode('utf8'))
    sha1.update('Python!'.encode('utf8'))
    print(sha1.hexdigest())

if __name__ == '__main__':
    hmac_test1()  # 9c503a1f852edcc3526ea56976c38edf
    hmac_test2()  # 2d8449a4292d4bbeed99ce9ea570880d6e19b61a

对称加密

对称加密（加密解密密钥相同）：DES、3DES、AES、RC4

简介

对称式加密就是加密和解密使用同一个密钥。信息接收双方都需事先知道密匙和加解密算法且其密匙是相同的，之后便是对数据进行加解密了。对称加密算法用来对敏感数据等信息进行加密。

一. 常见算法归纳

DES：56位密钥，由于密钥太短，被逐渐被弃用。

AES：有128位、192位、256位密钥，现在比较流行。密钥长、可以增加破解的难度和成本。