小白学python系列————【Day37】random模块，hashlib模块，suprocess模块，logging模块

今日内容概要

• openpyxl模块读数据（了解）
• random随机数模块
• 爬虫之爬取链家新房数据
• hashlib加密模块
• subprocess远程命令模块
• logging日志模块

openyxl模块读数据（了解）

1.openpyxl读数据
openpyxl不擅长读数据,所以有一些模块优化了读取的方式，我们一般会用这种新模块（pandas模块）。

# openpyxl读写数据使用的模块不一样
from openpyxl import Workbook
from openpyxl import load_workbook
# 写数据
# wb = Workbook()
# wb1 = wb.create_sheet('成绩表',0)
# wb2 = wb.create_sheet('考勤表')
#
# wb1.append(['username','grade','age'])
# wb1.append(['jason','pass',20])
# wb1.append(['kevin','Failed',22])
# wb1.append(['oscar','pass',21])
#
# wb.save(r'111.xlsx')

# 读数据
wb = load_workbook(r'111.xlsx')
print(wb.sheetnames)     # 查看excel文件中所有的工作簿名称  ['成绩表', 'Sheet', '考勤表']
wb1 = wb['成绩表']
print(wb1.max_row)        # 4  读出列表行数
print(wb1.max_column)     # 3  读出列表列数

# 读某一位置的数据
print(wb1['B2'].value)    # pass

# 读取第几行第几列数据
print(wb1.cell(row=2,column=2).value)   # pass

# 一次性读所有
for i in wb1.rows:
   print([j.value for j in i])
"""
['username', 'grade', 'age']
['jason', 'pass', 20]
['kevin', 'Failed', 22]
['oscar', 'pass', 21]
"""
for j in wb1.columns:
   print([i.value for i in j])
"""
['username', 'jason', 'kevin', 'oscar']
['grade', 'pass', 'Failed', 'pass']
['age', 20, 22, 21]
"""

pandas模块

1.pandas模块本质
pandas模块，模块底层就是引用openpyxl模块。如果解释器缺失openpyxl模块，则pandas模块也不可用。

import pandas
d = {
   '姓名':['jason','kevin','oscaar','tony'],
   '性别':['male','female','male','male'],
   '年龄':[20,22,21,19],
}
df = pandas.DataFrame(d)
df.to_excel(r'222.xlsx')

random随机数模块

1.random
返回0到1之间随机的小数

import random
print(random.random())           # 0.7601865770439645

2.randint
返回1到6之间随机的整数

import random
print(random.randint(1,6))           # 2

3.choice
随机抽取一个

import random
print(random.choice(['特等奖','一等奖','二等奖','优秀奖']))           # 二等奖

4.sample
随机抽样，自定义抽取个数

import random
(random.sample(['特等奖','一等奖','二等奖','优秀奖'],2))    # ['二等奖', '特等奖']

5.shuffle
随机打乱顺序

import random
l1 = [2, 3, 4, 5, 6, 7, 8, 9, 10, 'J', 'Q', 'K', 'A', '大王', '小王']
random.shuffle(l1)
print(l1)     # [10, 3, 'Q', 2, 'A', 'J', '小王', '大王', 8, 6, 4, 5, 7, 'K', 9]

6.举个栗子
需求：编写python代码，输入并产生的随机验证码（数字，小写字母，大写字母）

import random
def get_code(n):
   code = ''    # 定义全局变量用于存储所有的验证码
   for i in range(n):
       # 每次循环都应该产生数字，小写字母，大写字母
       random_int = str(random.randint(0,9))    # 随机产生一个数字
       random_lower = chr(random.randint(97,122))   # 随机产生一个小写字母
       random_upper = chr(random.randint(65,90))     # 随机产生一个大写字母
       # 从上述三个数据值中随机挑选一个作为验证码的一位数据
       temp = random.choice([random_int,random_lower,random_upper])
       code += temp     # 拼接字符串
   return code
res = get_code(4)   # 产生四位随机数
print(res)        # md4p
res1 = get_code(10)    # 产生十位随机数
print(res1)       # 44dpbx58K6

爬虫之爬取链家新房数据

1.需求：爬取链家新房首页数据并做成excel表格
爬取了太原市新房一些数据
代码展示：

import requests
import re
import pandas
# res = requests.get('https://ty.fang.lianjia.com/loupan/rs/')
# # 只获取了一页数据
# with open(r'lj.html','wb')as f:
#     f.write(res.content)

with open(r'lj.html','r',encoding='utf8')as f:
   data = f.read()
# print(data,type(data))
# 研究目标数据，筛选
home_title_list = re.findall(
   '<a href=".*?" class="resblock-img-wrapper " title="(.*?)" data-xftrack="10138" data-other-action=".*?" target="_blank" data-source-type="recommend_projectlist"  data-strategy-info=".*?">',
   data
)
# print(home_title_list)         # ['华侨城·天鹅堡', '旭辉江山', '中国中铁·诺德城', '魔方SOHO', '府东公园6栋', '龙湖翡翠', '万达龙樾府', '海天世纪天鹅堡', '海棠家园', '国投赞城5.0']
home_addr_list = re.findall(
   '<a href=".*?" target="_blank" data-xftrack="10254" data-other-action=".*?">(.*?)</a>',
   data
)
# print(home_addr_list)        # ['西中环路与大井峪街交叉口西南角', '和平北路与三给街交汇处西北角', '东峰路与朝阳街交叉口东北角', '长风东街与太行路交叉口东南角', '五龙口东街，太原东客站西200米', '龙潭湖公园东门（城坊街38号）', '龙潭公园东岸', '南中环街与滨河西路交叉口南200米', '坞城路与庆云街交叉口东南角', '上庄街与普国路交汇处东南角（万柏林实验中学西侧）']
home_price_list = re.findall(
   '<div class="second">(.*?)</div>',
   data
)
# print(home_price_list)     # ['总价135-195(万/套)', '总价73-150(万/套)', '总价94-146.88(万/套)', '总价94-149(万/套)', '总价200(万/套)', '总价75-150(万/套)', '总价306-700(万/套)', '总价254-500(万/套)', '总价85(万/套)', '总价98-145(万/套)', '总价<%= data[i].reference_total_price %><%= data[i].reference_total_price_unit %>']


d = {
   '房屋名称':home_title_list,
   '房屋地址':home_addr_list,
   '房屋预计价格':home_price_list,
}
df = pandas.DataFrame.from_dict(d, orient='index')
df.to_excel(r'333.xlsx')

hashlib加密模块

1.什么是加密？
将明文数据（看得懂）经过处理之后变成密文数据（看不懂）的过程。

2.为什么加密
不想让敏感的数据轻易的泄露。

3.如何判断当前数据值是否已经加密
一帮情况下如果是一串没有规则的数字与字母组合一般都是加密之后的结果。

4.如何加密（加密算法）
就是对明文数据采用的机密策略
不同的加密算法复杂度不一样 得出的结果长短也不一样
通常情况下加密之后的结果越长 说明采用的加密算法越复杂

5.常见加密算法
md5；sha系列；hmac；base64

6.代码实现

import hashlib
md5 = hashlib.md5()     # 选择md5加密算法作为数据的加密策略
md5.update(b'123')      # 往里面添加明文数据，数据必须是bytes类型
res = md5.hexdigest()    # 获取加密之后的结果
print(res)               # 202cb962ac59075b964b07152d234b70

7.加密之后的结果一帮情况下不能反解密
所谓的反解密很多时候其实是偷换概念
提前假设别人的密码是什么 然后用各种算法算出对应的密文
之后构造对应关系 然后比对密文 最终映射明文
{‘密文1’:123,‘密文2’:321,…}

8.只要明文数据是一样的那么采用相同的算法得出的密文肯定一样

import hashlib
md5 = hashlib.md5()     # 选择md5加密算法作为数据的加密策略
md5.update(b'123')      # 往里面添加明文数据，数据必须是bytes类型
md5.update(b'hello')      # 往里面添加明文数据，数据必须是bytes类型
md5.update(b'word')      # 往里面添加明文数据，数据必须是bytes类型
res = md5.hexdigest()    # 获取加密之后的结果
print(res)               # ecd179dcff348e21d19100060a5df96c

md5.update(b'123helloword')
res1 = md5.hexdigest()   
print(res1)                # ecd179dcff348e21d19100060a5df96c

9.加盐处理（salt）
目的是为了增加复杂度

import hashlib
password = input('password>>>:').strip()
md5 = hashlib.md5()     # 选择md5加密算法作为数据的加密策略
md5.update('公司设置的盐(干扰项)'.encode('utf8'))     # 加入干扰项（salt）
md5.update(password.encode('utf8'))
res = md5.hexdigest()
print(res)  # 123------->  78bf5bd131c520b54168206d75f9f9be

10.动态加盐（salt）
目的依旧是增加安全性
干扰项每次都不一样
eg:每次获取当前时间 每个用户用户名截取一段

11.加密实际应用场景
（1）用户密码加密
注册存储密文，登录也是比对密文
（2）文件安全性校验
正规的软件程序写完之后做一个内容的加密：
步骤一：网址提供软件文件记忆该文件内容对应的密文；
步骤二：用户下载完成后不直接运行，而是对下载的内容做加密；
步骤三：然后比对两次密文是否一致，如果一致表示文件没有被修改；
步骤四：不一致则表示改程序有可能被植入病毒
（3）大文件加密优化
需求：有程序文件100G，要读取100G内容后加密。
解绝方法：不对100G所有文件进行加密处理，而是截取一部分进行加密处理！！！
代码展示：

eg:每隔500M读取30bytes  
import os
os.path.getsize()

subprocess模块

1.作用：模拟计算机cmd命令窗口

import subprocess

cmd = input('请输入您的指令>>>:').strip()
sub = subprocess.Popen(cmd,
                      shell=True,
                      stdout=subprocess.PIPE,
                      stderr=subprocess.PIPE
                      )
# stdout执行命令之后正确的返回结果
print(sub.stdout.read().decode('gbk'))
# stderr执行命令报错之后的返回结果
print('*'*50)
print(sub.stderr.read().decode('gbk'))
print('*'*50)

日志模块

1.什么是日志
日志类似于是历史记录

2.为什么要使用日志
为了记录事物发生的事实（类似于古代的史官）

3.如何使用日志
(1)：日志等级
debug等级——>info等级——>warning等级——>error等级——>critical等级

# 日志等级
import logging

logging.debug('debug等级')  # 10
logging.info('info等级')  # 20
logging.warning('warning等级')  # 默认从warning级别开始记录日志  30
logging.error('error等级')  # 40
logging.critical('critical等级')  # 50

(2)：基本使用

import logging

file_handler = logging.FileHandler(filename='x1.log', mode='a', encoding='utf-8',)
logging.basicConfig(
   format='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
   datefmt='%Y-%m-%d %H:%M:%S %p',
   handlers=[file_handler,],
   level=logging.ERROR
)

logging.error('你好!!!')

4.日志模块详细阐述
我们在记录日志的时候，不需要像下面一样全部写，过于繁琐，所以该模块提供了固定的配置字典直接调用即可。

# 日志详细阐述
import logging

# 1.日志的产生(准备原材料)        logger对象
logger = logging.getLogger('购物车记录')
# 2.日志的过滤(剔除不良品)        filter对象>>>:可以忽略 不用使用
# 3.日志的产出(成品)             handler对象
hd1 = logging.FileHandler('a1.log', encoding='utf-8')  # 输出到文件中
hd2 = logging.FileHandler('a2.log', encoding='utf-8')  # 输出到文件中
hd3 = logging.StreamHandler()  # 输出到终端
# 4.日志的格式(包装)             format对象
fm1 = logging.Formatter(
       fmt='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
       datefmt='%Y-%m-%d %H:%M:%S %p',
)
fm2 = logging.Formatter(
       fmt='%(asctime)s - %(name)s:  %(message)s',
       datefmt='%Y-%m-%d',
)
# 5.给logger对象绑定handler对象
logger.addHandler(hd1)
logger.addHandler(hd2)
logger.addHandler(hd3)
# 6.给handler绑定formmate对象
hd1.setFormatter(fm1)
hd2.setFormatter(fm2)
hd3.setFormatter(fm1)
# 7.设置日志等级
logger.setLevel(10)  # debug
# 8.记录日志
logger.debug('写了半天 好累啊 好热啊')

5.日志字典配置（直接参考赋值即可）

# 日志配置字典
import logging
import logging.config
# 定义日志输出格式 开始
standard_format = '[%(asctime)s][%(threadName)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' \
                 '[%(levelname)s][%(message)s]' #其中name为getlogger指定的名字
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%>(message)s'

# 自定义文件路径
logfile_path = 'a3.log'
# log配置字典
LOGGING_DIC = {
   'version': 1,
   'disable_existing_loggers': False,
   'formatters': {
       'standard': {
           'format': standard_format
       },
       'simple': {
           'format': simple_format
       },
   },
   'filters': {},  # 过滤日志
   'handlers': {
       #打印到终端的日志
       'console': {
           'level': 'DEBUG',
           'class': 'logging.StreamHandler',  # 打印到屏幕
           'formatter': 'simple'
       },
       #打印到文件的日志,收集info及以上的日志
       'default': {
           'level': 'DEBUG',
           'class': 'logging.handlers.RotatingFileHandler',  # 保存到文件
           'formatter': 'standard',
           'filename': logfile_path,  # 日志文件
           'maxBytes': 1024*1024*5,  # 日志大小 5M
           'backupCount': 5,
           'encoding': 'utf-8',  # 日志文件的编码，再也不用担心中文log乱码了
       },
   },
   'loggers': {
       #logging.getLogger(__name__)拿到的logger配置
       '': {
           'handlers': ['default', 'console'],  # 这里把上面定义的两个handler都加上，>即log数据既写入文件又打印到屏幕
           'level': 'DEBUG',
           'propagate': True,  # 向上（更高level的logger）传递
       },  # 当键不存在的情况下 (key设为空字符串)默认都会使用该k:v配置
       # '购物车记录': {
       #     'handlers': ['default','console'],  # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕
       #     'level': 'WARNING',
       #     'propagate': True,  # 向上（更高level的logger）传递
       # },  # 当键不存在的情况下 (key设为空字符串)默认都会使用该k:v配置
   },
}

logging.config.dictConfig(LOGGING_DIC)  # 自动加载字典中的配置
# logger1 = logging.getLogger('购物车记录')
# logger1.warning('尊敬的VIP客户 晚上好 您又来啦')
# logger1 = logging.getLogger('注册记录')
# logger1.debug('jason注册成功')
logger1 = logging.getLogger('登录记录')      # 产生日志
logger1.debug('jason登陆成功')

6.实战练习
按照软件开发目录规范编写使用
配置文件中变量名推荐全大写
（1）日志字典数据应该放在conf文件夹settings.py文件中， 它属于配置文件
（2）字典数据是日志模块固定的配置，写完一次之后几乎都不需要动，应该放在lib文件夹中的common.py文件中。
common.py文件代码展示：

# 把日志封装成函数
import logging
import logging.config
from conf import settings
def get_logger(msg):
   logging.config.dictConfig(settings.LOGGING_DIC)   # 自动加载字典中的配置
   logger1 = logging.getLogger(msg)
   # logger1.debug(f'{username}注册成功')  # 这里让用户自己写更好
   return logger1