数据分析python基础实战分析
安装python，建议安装Anaconda
【Anaconda下载链接】https://repo.anaconda.com/archive/
记得勾选上这个框框
安装完后，然后把这两个框框给取消掉再点完成
在电脑搜索框输入"Jupyter"，牛马启动！
等待终端运行
运行完后会自动弹出网页
这里建议设置一下目录，以便后续创建的所有文件容易找到：
新建一个目录“python练习”
输入“jupyter notebook”然后回车，就会运行终端弹出浏览器
这样就得到一个干净的笔记本啦，可以右上角new新建python文件写代码运行
shift + enter 运行
数据类型
常见有整型int，浮点型float，布尔型bool，字符串string，列表list，字典dict，根据业务变量需要而变化。
变量与赋值
变量 = 数值，将数值赋值给变量
数据结构
list列表：数据量级大的时候，将多个数据一同存储到一个变量，方便后面使用。
dict字典:{key(唯一)：值}，如果懂什么叫映射就理解dict。excel里的表头就相当于key，如果列的表头带着多个值可以这样写：{key : [ 值1, 值2, 值3] }表示一列，key作表头，有3行值的数据；如果是多列可以写成:{key1 : [ 值1, 值2, 值3] ,key2 : [ 值1, 值2, 值3] ,key3 : [ 值1, 值2, 值3] } ；还有这种 [{key1 : 值1 , key2 : 值2 ,key3 : 值3 }, {key1 : 值1 , key2 : 值2 ,key3 : 值3 }, {key1 : 值1 , key2 : 值2 ,key3 : 值3 }]
数据结构检索与访问
检索：列表[0,3] 代表从第0个开始，共3个
访问：字典[‘key’] 返回对应key的值
分析数据过程：
1.取出数据，赋值给一个变量。例如有个字典ad_list, ad_1 = ad_list[0],打印ad_1
2.处理重复数据，例如del ad_1[‘成交金额’],打印ad_1
3.处理异常值，ad_1[‘GMV’] = ad_1[‘GMV’]/100, 打印ad_1
4.发现缺少某些指标，例如ROI, ad_1[‘ROI’] = round(ad_1[‘GMV’]/ ad_1[‘消耗’],2)，打印ad_1,并且roi保留两位小数
5.查看广告策略，例如 ad_1[‘商品名称’] = ad_1 [‘广告计划名称’].split(‘‘)[0], ad_1[‘人群标签’] = ad_1 [‘广告计划名称’].split(’’)[1], ad_1[‘用户年龄’] = ad_1 [‘广告计划名称’].split(‘‘)[2], ad_1[‘用户等级’] = ad_1 [‘广告计划名称’].split(’’)[3]
for循环
for item in list:
print(item)
//range()范围，这里3的意思是会产生一个0到3的序列范围，左闭右开
//len()长度，list里面有多少个数值
for i in range(len(list)):
print(list[i])
如果数据太长，可以用txt保存在用python进行读取：
with open('历史数据.txt', 'r', encoding = 'utf-8') as f:
history = f.readline()
//打印结果为字符串
history
//将字符串转换成list
history = eval(history)
history
//如果history需要整合其他list,ad_list会追加到history后面
history.extend(ad_list)
IF语句
if 条件:
do
else:
do
if 条件:
do
elif 条件:
do
else:
do
#如果要取出ROI大于1的数据
roi_list = []
for i range(len(hisotry)):
if history[i]['roi']>=1:
print(history[i])
roi_list.append(history[i])
else
pass
#打印
roi_list
自定义函数
#参数输入，有返回值
#f''字符串可以在字符串中嵌套变量
def nooddle_machine(water, flour):
print('搅拌……')
print(f'{water}和{flour}已经变成面团')
print('正在挤压面团')
return f'由{water}和{flour}制作而成的面条已经ok了'
#使用
bowl = nooddle_machine('水','面粉')
bowl
#没有输入参数，但有返回值
import datetime
def yesterday():
date = datetime.datetim.now() -- datetime.timedelta(days=1)
return date.date()
yesterday = yesterday()
yesterday
#有输入参数，但没有返回值
def upload_data(date):
print(f'已经将{date}的数据上传至数据库')
upload_data('2024-06-25')
#没有输入参数，没有返回值
def upload_data():
date = yesterday()
print(f'已经将{date}的数据上传到数据库')
批量处理：
def batch_data(data_list):
for i in range(len(data_list)):
process_data(data_list[i])
#比方说选出ROI大于1的数据
def filter_roi(data_list):
roi_list = []
for i range(len(data_list)):
if data_list[i]['ROI'] >=1:
print(data_list[i])
roi_list.append(data_list[i])
else:
pass
return ros_list
模块与包
import pandas as pd
Series/DataFrame
Series: 属于一维的
# name相当于表头
# index索引
s1 = pd.Series(['a','b','c'],name = 'test', index=['1','2','3'])
#如果需要将两个Series整合
pd.concat([s1],[s2], axis=1)
DataFrame: 二维, 本质上是字典，里面的值是列表，可以理解成是Series构成的
pandas读取和导出
读取
import pandas as pd
data = pd.read_excel(r'路径\文件.xlsx',converters={'uid': str, 'id':str })
//查看数据
data.info()
#另一种方式
data['id'] = data['id'].astype(str)
导出
#index = False 可以去掉导出后excel的索引
data.to_excel('test excel.xlsx', index = False)
data.to_csv('test csv.csv', encoding='GB18030')//文字能识别成功，但是数值会被Excel使用科学计数法代替
data.to_csv('test csv.txt', sep='\t')
访问与筛选
访问
访问列：data[‘字段名’]; 如果是多个字段->data[[‘字段名1’,‘字段名2’,‘字段名3’]]
访问行：data.iloc[1]; data.iloc[1:6],左闭右开返回2到5行数据; data.iloc[1:6][‘字段名’],返回2到5行这个字段的数据
筛选
主要是通过True and false来判断
data[data[‘progress’] >= 100000 ]
去重筛选
data.drop_duplicates(subset=‘uid’, keep =‘last’, inplace=True)
轴/合并/连接
轴：axis=0是行，axis=1是列，axis相当于方向
合并：concat_demo = pd.concat([data, data2], axis=0)
连接：pd.merge(左表, 右表, how=‘inner’, on=‘uid’)
如果名字不一样：
rename:左表.rename(columns = {‘uid’: ‘user_id’ }, inplace = True)
pd.merge(左表, 右表, how=‘inner’, left_on=‘uid’, right=‘user_id’)
排序与匿名函数
排序
data.sort_values([‘uid’,‘ctime’], ascending = [True, False])
匿名函数
add2 = lambda x: x+5
add3 = lambda x, y : x+y
分组/聚合/转换
分组:分组只会创建一个object，再用object去调用count方法
data_manager = data.groupby(‘字段’)->data_manager.count()
聚合
先groupby后再调用聚合方法
data_manager[[‘消耗’,‘GMV’]].sum()
data_manager[[‘消耗’,‘GMV’]].agg([‘max’,‘min’])//看每个字段的最大和最小
data_manager.agg({‘消耗’: [‘max’,‘min’], ‘GMV’ : ‘min’})
算最大值和最小值的差值
data_manager[[‘消耗’,‘GMV’]].agg(lambda x: x.max() - x.min())
转换
data_manager[‘GMV’].transform(func=‘sum’)
同效果：data_manager[‘GMV’].agg(func=‘sum’)
组内排名:
#每个投放日期内，广告计划ID和GMV排名
history['每日GMV排名'] = history.groupby('投放日期')['GMV'].rank(method = 'dense', ascending =False)
history['每日GMV排名'] = history['每日GMV排名'].astype(int)
history.head(20)
字符串，数据清洗
split::用什么符号分割
history[’广告计划名称‘].str.split('_', expand=True),返回一个DataFrame
contains:字符串中包含了什么内容
`history[history['商品名称'].str.contains('玩转'),返回值是布尔`值].reset_index(drop=True)
replace:
举例，将《》两个符号改成【】
history['商品名称'].str.replace('《','【').str.replace('》','】')
结合正则表达式，更简洁的方式：
正则表达式在线测试网站：https://regex101.com/
history['商品名称'].str.replace(r'《(.*?)》',r'【\1】',regex=True)
extract:提取一个数据里面的部分内容
history['广告计划名称'].str.extract(r'(.*?)_')
绘图
折线图：
history.groupby('投放日期')['GMV'].sum().plot(kind='line', x='投放日期', y='GMV')
#如果想导入中文字体
import matplotlib.pyplot as plt
plt.rcParams['font.family'] = 'SimHei'
柱状图：
history.groupby('广告计划ID')['GMV'].sum().plot(kind='bar', x='广告计划ID', y='GMV')
水平柱状图：
history.groupby('广告计划ID')['GMV'].sum().plot(kind='barh', x='广告计划ID', y='GMV')
直方图：
history['GMV'].plot(kind = 'hist')
散点图：
history.plot(kind ='scatter', x='GMV', y='消耗')
饼图：
history.groupby('广告计划ID')['GMV'].sum().plot(kind ='pie')
PyGWalker
安装：在电脑CMD输入
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pygwalker
使用：
import pygwalker as pw
pw.walk(history)
map/apply/applymap
map: 对列或行进行处理
将GMV列的数据转换成int型
history['GMV'].map(lambda x : int(x))
与apply不同的可以用字典：
history[‘人群标签’].map({‘数据分析’ : ‘数分’})
apply:
如果操作的数据类型式DataFrame,则使用apply或者applymap。
#举例,因为这个是从左往右相加，所以要用axis进行定义,args是对系数设置 ：
coe = None
if condition1:
coe = 0.8
elif condition2:
coe = 0.5
elif condition3:
coe = 0.3
def demo(x, coe):
formular = x['客单价'] + x['消耗'] +['直播间消耗']
formular = formular + x['GMV']
return formular * coe
history.apply(demo, axis=1, args=(coe,))
applymap:所有字段都需要做同一个处理，其实apply也能做到
办公自动化：
背景：老板需要提供抖音平台上男士护肤品牌的带货视频，将已有的excel数据转换成word文档展示给老板看。
首先明确python怎么操作word，再确认将excel整合到word的格式。
CMD安装python-docx
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple python-docx
1.导入pandas as pd获取excel数据
import pandas as pd
video_list = pd.read_excel('video_list.xlsx')
speech_text = pd.read_excel('speech_text.xlsx')
#检查数据，用vide_list.info()发现id为转换成整型，应该需要字符串
video_list['AwemeId'] = video_list['AwemeId'].astype(str)
speech_text['VideoId'] = speech_text['VideoId'].astype(str)
#将两个表连接一起
merge = pd.merge(video_list, speech_text, how = 'inner', left_on ='AwemeId', right_on ='VideoId')
创建一个空的document:
from docx import Document
document = Document()
记得每次要新建的文件要重新赋值Document()
document = Document()
for i in range(len(merge)):
#如果遇到同一个品牌的时候无须重复创建，i == 0 防止第一条查找时报错
if merge.iloc[i]['品牌'] != merge.iloc[i-1]['品牌'] or i == 0:
document.add_heading(merge.iloc[i]['品牌'],level = 1)
document.add_heading(merge.iloc[i]['视频标题'],level = 2)
document.add_paragraph(f'达人昵称：{merge.iloc[i]["BloggerName"]}')
document.add_paragraph(f'视频链接：douyin.com/video/{merge.iloc[i]["AwemeId"]}')
document.add_paragraph(merge.iloc[i]['视频文案'])
document.save('demo.docx')
探索分析
背景：得到一组弹幕数据，怎么做内容分析
数据处理
导入
import pandas as pd
user_level = pd.read_excel('user_level.xlsx')
#将本地文件整合
import os
excel_list = []
for item in os.listdir('./'):
if 'xlsx' in item and 'user_level' not in item:
excel_list.append(item)
danmu = pd.DataFrame()
for item in excel_list:
excel = pd.read_excel(item,converters = {'id': str, 'uid' : str, 'Awemeid' : str})
#合并前新建一个字段区分每个表
excel['视频标题'] = item
danmu = pd.concat([danmu, excel], axis=0)
时间处理
时间维度
danmu['弹幕创建时间'] = danmu['ctime'].map(datetime.fromtimestamp)
danmu['年'] = danmu['弹幕创建时间'].map(lambda x: x.year)
danmu['月份'] = danmu['弹幕创建时间'].map(lambda x: x.month)
danmu['星期'] = danmu['弹幕创建时间'].map(datetime.isoweekday)
danmu['小时'] = danmu['弹幕创建时间'].map(lambda x: x.hour)
时间可视化分析
#准备画图工具，字体设置微软雅黑
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei']
danmu_year = danmu[danmu['年']==2022]
danmu_year.groupby('月份')[['id']].count().plot()
danmu_year.groupby('月份')[['uid']].nunique().plot()
danmu_year.groupby('星期')[['id']].count().plot()
danmu_year.groupby('星期')[['uid']].nunique().plot()
danmu_year.groupby('小时')[['id']].count().plot()
danmu_year.groupby('小时')[['uid']].nunique().plot()
用户画像：
用户处理
#统计用户弹幕的数
danmu['用户弹幕数'] = danmu.groupby('uid')['id'].transform('count')
#想加上另一个表的level字段，记得id号on的时候类型要保持一致，这里是字符串
user_level['uid'] = user_level['uid'].astype(str)
danmu_level = pd.merge(danmu, user_level, on = 'uid', how = 'inner')
弹幕内容
#按降序排弹幕数最多的用户,新建一个id列来存储count数
danmu_level.groupby('uid')[['id']].count().sort_values('id', ascending=False)
#限制300行数据，选定一个id用户来看
pd.set_option('display.max_rows',300)
danmu_level[danmu_level['uid'] == '6653485828143602809']
等级分布
#画出用户等级柱状图
danmu_level.groupby('level')[['id']].count().plot(kind='bar')
#看用户的唯一值，可用于验证假设
danmu_level.groupby('level')[['uid']].nunique().plot(kind='bar')
视频内容
视频内容处理
from time import strftime
from time import gmtime
danmu['视频进度'] = danmu['progress'].map(lambda x: strftime('%H:%M:%S',gmtime(x)))
#取时和分
danmu['视频进度【时分】'] = danmu['视频进度'].str[:5]
视频内容分析
p1 = danmu[danmu['视频标题']=='1、系统认识数据分析.xlsx']
p1.groupby('视频进度【时分】')[['id']].count().sort_values('id',ascending=False)
#查看某时分的视频内容
p1[p1['视频进度【时分】'] == '00:11']
总结：
分析一个数据的时候可以从3个维度，时间，画像，内容进行分析， 时间维度可以提出猜想与假设，画像和内容可以判断出某些真实用户的情况，即可以提出某些结论；具体执行过程可以分为3步，1.先进行数据处理，2.再拿处理好的数据进行分析，3.提出假设，再看实际内容验证假设。
662
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
