Python数据分析必备知识(2)

已于 2023-06-24 10:24:38 修改
阅读量72 收藏
点赞数
文章标签： python 数据分析 开发语言
于 2023-05-30 14:14:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yoki___/article/details/130947340
版权
本文介绍了如何使用Python的logging模块添加日志信息，包括创建日志器、处理器和格式器，以及日志的级别。另外，展示了如何判断DataFrame是否为空，以及密码的加密和解密方法，包括使用base64编码。还提到了如何将Python脚本打包成exe文件，并探讨了Pandas中merge,concat,join的拼接方法。最后，文章提供了一个基于特定条件更新数据的例子，涉及数据排序和填充。
摘要由CSDN通过智能技术生成

1.二分钟快速给项目添加日志信息

"""
给项目添加日志信息
"""
# 导Python内置包
import logging
import time   # 方便用日期命名日志

# 创建一个日志器logger
logger = logging.getLogger(__name__)

# 给日志器设置日志打印级别
logger.setLevel(logging.INFO)
# 创建一个格式器，用于控制日志输出格式
fm = logging.Formatter(fmt="当前时间为%(asctime)s,文件是%(filename)s,行号是%(lineno)d,日志级别是%(levelname)s,"
                              "描述信息是%(message)s",datefmt='%Y/%m/%d %H:%M:%S')
# 创建一个文件处理器，写入日志
fh = logging.FileHandler(filename="./{}log.txt".format(time.strftime("%Y_%m_%d %H_%M_%S",time.localtime())),encoding='utf-8')
# 关联日志器——格式器——文件处理器
logger.addHandler(fh)
fh.setFormatter(fm)
# 设置文件处理器打印日志的级别
# fh.setLevel(logging.INFO)

# 如果想打印日志在终端，可以添加SteamHandler()端处理器
st = logging.StreamHandler()
# 设置格式
st_fm = logging.Formatter(fmt='%(asctime)s - %(threadName)s[line:%(lineno)d] - %(levelname)s: %(message)s')
# 把日志器——处理器——格式器关联
logger.addHandler(st)
st.setFormatter(st_fm)
# 设置等级
st.setLevel(logging.INFO)


logger.debug('测试debug')
logger.info('测试info')
logger.warning('测试warning')
logger.error('测试error')
logger.critical('测试critical')

示图：

图片

需要补充的日志理论知识：

"""
一、日志
1、定义：跟踪软件运行时产生的事件的方法(跟踪器)
2、作用：调试程序、定位问题，数据分析
二、如何实现日志收集
1、实现方式：内置模块logging
2、logging模块的基本应用:四大组件
    (1)日志器logger 给所有的应用程序提供接口
    (2)处理器handler 决定在不同端输出
    (3)格式器formater决定日志内容(日志包含的事件、行号、信息描述、信息级别）
    (4)过滤器filter对信息进行筛选，保留感兴趣的信息
3、四大组件的关系
一个日志器可以有多个处理器，一个处理器可以有各自的格式器和过滤器
三、日志级别(从低到高)
DEBUG:调试信息
INFO:关键事件描述
WARNING:警告信息
ERROR:错误信息
CRITICAL:严重错误
FATAL:致命错误
四、日志输出端：
1.指定位置的日志文件
2.控制台
五、输出日志级别是按照日志输出结拜控制还是处理器输出级别控制？
————输出日志级别是优先按照日志器的输出级别输出，其次再按照处理器输出级别输出
六、日志记录的特点
1.定义了INFO级别，例如logger.setLevel(logging.INFO),则应用程序里面所有的DEBUG级别的信息不被打印，也就是大于或者等于的设定级别的日志才会输出
2.日志记录的级别有继承性，子类会继承父类的所有日志级别

"""

2.DataFrame类型数组如何判断为空呢

"""
DataFrame类型数组如何判断为空呢
—————定义了列，里面没有数据仍为空
——————表中没数据，为空
"""
import pandas as pd

table_a = pd.DataFrame()
table_b = pd.DataFrame(columns=['测试1','测试2'],dtype=object)
table_c = pd.DataFrame([[4,9]]*3)
table_d = pd.DataFrame({
    '姓名':['大','搭','达','答'],
    '时间':[199991101,19991102,19991103,19991104],
    '性别':['男','男','女','男'],
})
print('&'*30)
print(table_a)
print('&'*30)
print(table_b)
print('&'*30)
print(table_c)
print('&'*30)
print(table_d)
print('&'*30)

if table_a.empty:
    print('table_a是空的')
if table_b.empty:
    print('table_b是空的')
if table_c.empty:
    print('table_c是空的')
if table_d.empty:
    print('table_d是空的')

示图：

图片

3.密码的加密与解密

"""
密码加解密

原理：
.encode():原文本转二进制
.decode():二进制转源文本
"""
import base64

pwd = input('请输入密码：')

# 原文本-->二进制-->base64.b64encode()进行加密,@#$%是为了加盐
# new_pwd = base64.b64encode(('!@#$%' + pwd).encode())  # 输入231,生成：b'IUAjJCUyMzE='
# 去掉开头的b
new_pwd = base64.b64encode(('!@#$%' + pwd).encode()).decode()   # # 输入231,生成：'IUAjJCUyMzE='
# wb,以二进制格式打开一个文件用于写入。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件
with open ('password.txt','wb') as f:
    f.write(new_pwd.encode())


# 解密
with open('password.txt','r') as f:
    pwd = f.read()

print('mi',pwd)  # mi IUAjJCUyMzE=
print(type(pwd))  # <class 'str'>
print('mi1',pwd.encode()) # mi1 b'IUAjJCUyMzE='
# 用base64.b64decode解
# pwd1 = base64.b64decode(pwd.encode())
# print(pwd1)  # 输入231,生成：b'!@#$%231'
# 去b操作
pwd1 = base64.b64decode(pwd.encode()).decode()
print(pwd1)  # 输入231,生成：!@#$%231
# 去掉加盐，切掉前五位
pwd2 = pwd1[5:]
print(pwd2)

示图

图片

4.制作简单加密器

把加密过程生成一个exe文件，点击exe输入密码即可完成加密，在txt文件获取加密后的密码

1.需要用到的py文件,例如demo21_1.py文件

import base64

pwd = input('请输入密码：')
new_pwd = base64.b64encode(('!@#$%' + pwd).encode()).decode()
with open ('password.txt','wb') as f:
    f.write(new_pwd.encode())

2.如何打包

1.第一步安装Python代码转成exe的工具包pyinstaller

pip install pyinsatller
# 或者
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyinstaller

2.执行打包命令

pyinstaller -F xxx.py 
# 或者
pyinstaller -D xxx.py
# -F 表示打包成文件
# -D 表示打包成文件夹
# --noconsel 以无提示模式启动安装程序
# -i 加入图标，图标用的ico格式

目录结构图

图片

效果图

图片

需要注意的是：如果添加图标时，想要获取.ico图片，不建议直接改.jpg图片的后缀名，这样可能会报错。

找格式工厂或者其他软件来获取.ico图标。

5.A列相同的，按照B列排序，用最新的C列、D列数据替换之前的数据

"""
用类别排序后，按编号进行分组，每组种判断最后一条数据的位置是不是上海，如果是，用这组最后一条的数据替换这组其余的数据，如果不是，不做处理。

pad/ffill:用前一个非缺失值去填充该缺失值
backfill/bfill:用下一个非缺失值填充该缺失值
None:指定一个值去替换缺失值(缺省默认这种方式)
limit参数：限制填充个数
axis参数：修改填充方向

"""
import os
import numpy as np
import pandas as pd
file_path = r'demo22.xlsx'
table = pd.read_excel(file_path)
print(table.shape[0])
test1 = table.sort_values('类别',ascending=False)

print('按照类别排序效果如下')
# print(test1)
print('再按照编号排序，生成了一个对象')
test_group = test1.groupby('编号')
# print(test_group)

# 创建两个空表
empty_test1 = pd.DataFrame(columns=table.columns,dtype=object)
empty_test2 = pd.DataFrame(columns=table.columns,dtype=object)

for group_name,df_group in test1.groupby('编号'):
    # print(group_name)  每一行的序号
    # print('展现以类别排序之后，按编号分组结果')
    print(df_group)   # 每一行的数据
    # print('展示每组最后一条数据')
    # print(df_group.tail(1))
    # df = df_group.tail(1)
    # print(df['位置'])
    # print(df['位置'].any())
    # print(df['位置'].item())
    # print(df['位置'].all())

    # 如果每组的最后一条数据是北京，把这一组的所有位置全部变成上海
    if df_group.tail(1)['位置'].any() == '上海':
        # iloc[] 包头不包尾
        # df_group.iloc[1:,1:3] = np.nan # 保留每组的第一条数据，其他第1索引，第2索引位置处设为nan
        # df_group.fillna(method='ffill',inplace=True)
        df_group.iloc[:-1,1:3] = np.nan   # 保留每组的最后一条数据，其他第1索引，第2索引位置处设为nan
        # print(df_group)
        df_group.fillna(method='bfill',inplace=True)
        """
                         编号   位置 工作类型 性别         时间     类别
            0  13123  NaN  NaN  女 2022-11-06  2023款
            5  13123  NaN  NaN  女 2022-11-05  2023款
            3  13123  NaN  NaN  女 2022-11-03  2021款
            7  13123   上海   全职  男 2022-11-08  2021款
        """
        # print(df_group)
        # 符合条件的累加
        empty_test1 = pd.concat([empty_test1,df_group])
    else:
        # 不符合条件的也累加
        empty_test2 = pd.concat([empty_test2, df_group])
total_test = pd.concat([empty_test1,empty_test2],ignore_index=True)
print(total_test)

file_path = r'total_test.xlsx'
if (os.path.exists(file_path)):
    os.remove(file_path)
total_test.to_excel(file_path,index=False)

示例图如下：

图片

图片

图片

图片

图片

6.Pandas中merge,concat,join三种拼接方法实战对比

6.1 concat

新建concat_1.xlsx和concat_2.xlsx，内容如下

图片

"""
concat() 方法适用于两个表长或者宽度不匹配，需要强行填充
"""
import pandas as pd

file_path1 = r'concat_1.xlsx'
file_path2 = r'concat_2.xlsx'
table_a = pd.read_excel(file_path1)
table_b = pd.read_excel(file_path2)

# 默认axis=0 列拼接，当axis=1时，行拼接
# result1 = pd.concat([table_a,table_b])
result1 = pd.concat([table_a,table_b],keys='产品',axis=0)
print('result1')
print(result1)
result2 = pd.concat([table_a,table_b],axis=1)
print('result2')
print(result2)

效果如下

图片

6.2 join

新建join_1.xlsx和join_2.xlsx,内容如下

图片

"""
两个表长度不匹配，需要强行填充
————join用法：基于index连接dataframe的列
——————how:有四种连接方式：left,right,outer,inner,默认为left
——————on:标签的列表，根据某个字段进行拼接，必须存在与两个DataFrame中，若未同时存在，则需要同时使用left_on和right_on
——————lsuffix:字符串，左侧数据中重叠列使用的后缀
——————rsuffix:字符串，右侧数据中重叠列使用的后缀
——————sort 布尔类型，对非连接轴进行排序


"""

import pandas as pd

file_path1 = r'join_1.xlsx'
file_path2 = r'join_2.xlsx'
table_a = pd.read_excel(file_path1)
table_b = pd.read_excel(file_path2)
result = table_a.join(table_b,how='outer',lsuffix='2')
print(result)
result1 = table_b.join(table_a,how='outer',lsuffix='2')
print(result1)

图片

6.3 merge[重点]

新建merge_1.xlsx和merge_2.xlsx,内容如下

图片

"""
两个表长度不匹配，需要强行填充
————merge用法：基于相同的列进行拼接
——————它实现的数据库的join操作

"""
import pandas as pd

file_path1 = r'merge_1.xlsx'
file_path2 = r'merge_2.xlsx'
table_a = pd.read_excel(file_path1)
table_b = pd.read_excel(file_path2)

# 默认参数how是inner内连接，并且会按照相同的字段key进行合并，即等价于on='key'
result = pd.merge(table_a,table_b)
# 相当于result = pd.merge(table_a,table_b，on='产品')
print(result)

图片

高阶用法

新建merge_3.xlsx和merge_4.xlsx,内容如下

图片

执行代码：

"""
当两个表没有相同字段时的合并
"""

import pandas as pd

file_path1 = r'merge_3.xlsx'
file_path2 = r'merge_4.xlsx'
table_a = pd.read_excel(file_path1)
table_b = pd.read_excel(file_path2)

# 默认参数how是inner内连接，并且会按照相同的字段key进行合并，即等价于on='key'
result = pd.merge(table_a,table_b,left_on='产品',right_on='名称',how='left')
# 相当于result = pd.merge(table_a,table_b，on='产品')
print('result')
print(result)
result1 = pd.merge(table_a,table_b,left_on='产品',right_on='名称',how='right')
print('result1')
print(result1)

效果如下

图片

总结：
1.merge基于相同的columns进行合并，类似于SQL中的join
2.join基于index连接dataframe的列
3.concat用于给dataframe添加行或者列
4.append方法不建议使用，在操作海量数据时，可以在终端打印，但是写不到excel的问题，而且在未来版本中，append函数已经弃用。
- END -

除上述资料外，还附赠全套Python学习资料，包含面试题、简历资料等具体看下方。

👉CSDN大礼包🎁：全网最全《Python学习资料》免费赠送🆓！（安全链接，放心点击）

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python学习路线

image-20230619144606466

python学习路线图1
在这里插入图片描述

二、Python基础学习
1. 开发工具

2. 学习笔记

在这里插入图片描述

3. 学习视频

在这里插入图片描述

三、Python小白必备手册

图片

四、数据分析全套资源

在这里插入图片描述

五、Python面试集锦
1. 面试资料

在这里插入图片描述

在这里插入图片描述

2. 简历模板

在这里插入图片描述

因篇幅有限，仅展示部分资料，添加上方即可获取

Taki~
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python数据分析之理论知识
陌小柠的博客
04-24 4275
文章目录Python数据分析概述一、数据分析的概念1.广义数据分析2.数据挖掘二、数据分析流程1. 需求分析：2. 数据获取3.数据预处理4.分析与建模5.模型评价与优化6. 分类模型评价指标7.回归模型8.部署三、数据分析应用场景四、总思维导图 Python数据分析概述 一、数据分析的概念 1.广义数据分析 狭义数据分析 对比分析 分组分析 交叉分析 回归分析等 2.数据挖掘 智能推荐 关联规则 分类模型 聚类模型 二、数据分析流程 1. 需求分析： 主要指从用户
【基础汇总】——python数据分析必备三大工具
weixin_47974364的博客
04-05 3642
目录前言一、numpy1、数组创建2、数组运算3、矩阵运算二、pandas1、数据结构2、数据处理3、实际案例三、matplotlib1、基本概念2、matplotlib图形绘制3、seaborn图形绘制4、实际案例结语 前言 之前写了那么多的关于金融数据分析的实战案例，我想是时候将这些例子中的使用到的python基础知识进行总结了…… 想要学好数据分析，必须掌握的numpy、pandas、matplotlib三大数据分析相关库的知识，收藏这一篇万字长文就足够了！ 一、numpy 1、数组创建 import
Python 基础（一）：入门必备知识
热门推荐
Python小二
10-30 112万+
Python 入门必备知识，你都掌握了吗？
学习python数据分析的心得体会
2303_82269754的博客
06-28 1759
其次是逻辑思维，在编写代码和进行数据分析的过程中，需要严谨的逻辑和清晰的思路，每一个步骤都要经过深思熟虑，确保结果的准确性和可靠性。同时，数据分析领域的技术和知识不断更新，也促使我保持学习的热情和好奇心，不断提升自己的能力和水平。在当今数字化的时代，数据成为了一种宝贵的资源，能够从海量的数据中提取有价值的信息和洞察，对于个人和企业的决策制定具有至关重要的意义。在未来的学习和工作中，我将继续深入学习和探索数据分析的领域，不断提升自己的能力和水平，为实现自己的目标和梦想而努力奋斗。学会利用丰富的学习资源。
数据分析师必备的python包
miya的博客
12-09 3583
数据分析师必备的python包 1. numpy numpy提供大量数值编程工具，可以方便处理向量矩阵等运算。是科学计算方面的利器。 2. scipy 统计 统计就是在做宏观分析的工作。拿到一组数据，分析数据的特征，具体包括样本大小，极值，均值，方差，偏度和峰度，数据的相关系数等。 分布是统计学中最基本的知识。如何指定参数生成分布，一组数据是否符合某种分布（假设检验），分布中的分位，以及认定数据属于某种分布时其对应的参数的最大似然估计(fit)。这些都在scipy.stats包中提供对应的函数实现。 sci
Python数据爬取超详细讲解（零基础入门，老年人都看的懂）
BookSea的博客
07-13 46万+
关于Python爬虫的超详细讲解，用例子来给大家一步步分析爬虫的代码原理，由浅入深，老年人来了，我也给你整明白。
Python数据分析，如何掌握常用的数据分析包，看这篇就够了_python数据分析包
2401_84689394的博客
05-02 1422
Pandas 是 Python的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据，广泛应用于数据分析领域，Pandas 适用于处理与 Excel 表类似的表格数据，以及有序和无序的时间序列数据等。Pandas 的主要数据结构是 Series（一维数据）和 DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数典型用例，使用pandas进行数据分析流程包含数据整理与清洗、数据分析与建模、数据可视化与制表等阶段。
分享一下Python数据分析常用的8款工具_python中数据处理工具包有哪些
2401_84556604的博客
05-03 884
Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。
手把手教你利用Python进行数据分析（思维导图）_python数据分析 思维导图
2301_82242426的博客
05-03 969
和四个部分。在不同的步骤中会用到不同的Python工具。每一步的主题也包含众多内容。Python读写数据，主要包括以下内容：我们以一小段代码来看：可见，仅需简短的两三行代码即可实现Python读入EXCEL文件。在第一步和第二步，我们主要使用的是Python的工具库NumPy和pandas。其中，NumPy主要用于矢量化的科学计算，pandas主要用于表型数据处理。▲NumPy▲pandas在分析和建模方面，本书主要介绍了Statsmdels和Scikit-learn两个库。
Python数据分析：从入门到精通
laolv3的博客
06-18 1405
Pandas提供了Series和DataFrame两种数据结构，它们是处理表格数据的利器。学会如何调整图形样式，添加标题、标签和图例，使图表更具可读性。回顾与总结，我们不仅学习了Python数据分析的基本概念和技能，还通过实战项目将理论知识转化为实际应用。为了持续提升自己的数据分析能力，建议你积极参与社区讨论，阅读更多专业书籍和文章，不断挑战自己解决新的数据问题。Python数据分析之旅才刚刚开始，愿你在数据的海洋里乘风破浪，不断探索和成长。
python 数据分析必备-离线文档
05-07
Python数据分析是现代数据科学中的重要工具，而离线文档则为开发者提供了无网络环境下的学习和查询资源。本文将深入探讨这些离线文档所涵盖的关键知识点，包括`docx`、`matplotlib`、`numpy`、`scikit-learn`、自动...
Python数据分析知识地图，使小白能够清晰了解Python数据分析路线
11-02
这张"Python数据分析知识地图"旨在为初学者提供一条清晰的学习路径，帮助他们从零开始逐步掌握这个领域的核心知识。 首先，Python语言本身是学习数据分析的基础。Python以其简洁明了的语法和丰富的库资源，成为了...
Python数据分析班
09-26
Python数据分析是现代数据科学中的重要工具，它以其易读性、强大的库支持和广泛的应用场景深受数据分析师喜爱。在这个“Python数据分析班”中，学员可以深入学习如何利用Python进行高效的数据处理、探索和可视化，...
Python数据分析实战与运用之数据分析篇
03-10
Python数据分析实战与运用之数据分析篇 Python数据分析实战与运用之数据分析篇是基于真实场景的数据Peter Li课程，课程定位三大方面：零基础学员或者有一定基础学员、大中院校学生、在职从事数据分析相关工作以及...
分享python数据分析面试题.docx
06-13
Python是一种高级编程语言，特别适合于数据分析和科学计算。在面试中，对于Python数据分析岗位，面试者需要掌握一系列核心概念和技术。以下是一些基于提供的...熟悉并掌握这些知识点对于Python数据分析面试至关重要。
如何在Python中使用IP代理
IPIPGO的博客
08-23 464
通过以上步骤，你应该已经学会了如何在Python中使用IP代理。无论是单个代理IP、带认证的代理IP，还是批量使用代理IP，这些方法都能帮助你在实际项目中灵活应用。希望这篇文章对你有所帮助，如果你有任何问题或建议，欢迎在评论区留言，我们会尽力为你解答。t=N7T8。
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 1013
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
Android笔试面试题AI答之Kotlin（20）
学无止境，止于至善
08-21 838
Elvis操作符（?:）是Kotlin（以及一些其他编程语言）中用于处理可空表达式的一种简洁方式。它允许在表达式的值为null时提供一个默认值，从而简化了空值的处理。在Kotlin中，构造函数（Constructor）是类的一个特殊方法，它用于初始化新创建的对象。与Java不同，Kotlin中的构造函数不是通过名称来定义的，而是与类名相同，并且没有返回类型（即使是void）。Kotlin支持主构造函数和次构造函数（也称为辅助构造函数或二级构造函数）。
【python计算机视觉编程——1.基本的图像操作和处理】
最新发布
m0_53694086的博客
08-26 772
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值