Python|字符串数据清洗+分组计算

最新推荐文章于 2024-08-06 17:20:56 发布
最新推荐文章于 2024-08-06 17:20:56 发布
阅读量1k 收藏 8
点赞数 2
分类专栏： Python 文章标签： Python 数据清洗 分组计算 数据预处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27782503/article/details/88727923
版权

Table of Contents

问题背景

最近在某互联网公司实习，leader提了需求要处理一个数据，原始数据长这个样子（注：为了数据隐私，已进行加密处理）
原始数据
需求是这个样子的：

  • 需求1：将interests_news进行切分开成一条一条的，先处理一种情况：如果反斜杠只取反斜杠后面的标签，也就是二级标签。处理完成之后，如果是逗号连接，具体如下：每一个标签形成一行，后面对应三个变量保持一致。
  • 处理ok后的数据结构如下：
    初步处理后
  • 需求2：根据上述结果进行分组计算，也即根据兴趣点标签进行groupby 算users、ret_users的总和 以及两个变量的比值
  • 最终结果如下：
    最终结果

总结遇到的坑

  • 字符串处理 用replace的时候 单引号要用双引号去引 不能单引号再引单引号
  • groupby的时候如果少了元素 如果方法没问题 那就是数据的坑 比如字符串有的多了空格 有的没有空格 那就不一样了
  • 要考虑情况更加全面一点

导入相应的库+定义函数

import pandas as pd
import copy
import time

# 函数作用：反斜杠连接的多个元素取斜杠后面的一个元素
# 增加一个判断 如果有多个元素 且有多个反斜杠 均要去考虑
def f1(x):
    s = x.split(',')
#     print(s)
    n = len(s)
    for i in range(n):
        if '/' in s[i]:
            s[i] = s[i].split('/')[1]
    return s

处理流程

读入数据

data = pd.read_excel('./兴趣点.xlsx', sheet_name='Sheet2')
data = data.dropna()
print(data.shape)
data.head()

(42934, 5)
dayinterests_newsusersret_users次留
120190311["娱乐/明星八卦"]363.82995720870.521120
220190311["健康/养生"]27.4695836020.398086
320190311["娱乐/明星八卦","娱乐"]411.8949764750.025857
420190311["体育/NBA"]47.8314494320.058352
520190311["社会"]183.3162484010.103651

筛选数据

data_10 = data[data['users'] > 5]
# 重新设置索引
data_10 = data_10.reset_index(drop=True)
print(data_10.shape)
data_10.head()

(403, 5)
dayinterests_newsusersret_users次留
020190311["娱乐/明星八卦"]363.82995720870.521120
120190311["健康/养生"]27.4695836020.398086
220190311["娱乐/明星八卦","娱乐"]411.8949764750.025857
320190311["体育/NBA"]47.8314494320.058352
420190311["社会"]183.3162484010.103651

字符串处理

# 先拷贝下数据
df = copy.deepcopy(data_10)
df['interests_news'] = df['interests_news'].apply(lambda x: x.replace('[', '').replace(']', '').replace('"', ''))
df['interests_news'] = df['interests_news'].map(f1).map(str)
df['interests_news'] = df['interests_news'].apply(lambda x: x.replace('[', '').replace(']', '').replace("'", ''))
print(df.shape)
df.head()

(403, 5)
dayinterests_newsusersret_users次留
020190311明星八卦363.82995720870.521120
120190311养生27.4695836020.398086
220190311明星八卦, 娱乐411.8949764750.025857
320190311NBA47.8314494320.058352
420190311社会183.3162484010.103651

对兴趣点变量进行拆分

思路梳理：

  • 其实就是一个DataFrame的拼接，定义几个空list 然后对应的内容放进去 每次都形成一个新的DataFrame 形成过程先把数值不同的放在一起
  • 把所有的DataFrame都放到一个list 最后进行concat
# 思路：其实就是一个数据框的拼接 分别每次形成一个数据框
# 先定一个空列表
data_need = []
for i in range(len(df)):
    # 每次循环都清空兴趣点列表
    int_news = []
    # 根据逗号进行切分
    s = df['interests_news'][i].split(',')
#     print(s)
#     break
    # 计算兴趣点词条的个数
    n = len(s)
    for j in range(n):
        # 将所有兴趣点内容放到一个list
        int_news.append(s[j])
    # 形成数据框
    y = pd.DataFrame({'interests_news': int_news})
    # 补充其余三列相同的信息
    y['users'] = df['users'][i]
    y['ret_users'] = df['ret_users'][i]
    y['次留'] = df['次留'][i]
    # 单个数据框ok之后放到list中 
    data_need.append(y)
# 一起concat
data_new = pd.concat(data_need, axis = 0)
print(data_new.shape)
data_new.head()

(934, 4)
interests_newsusersret_users次留
0明星八卦363.82995720870.521120
0养生27.4695836020.398086
0明星八卦411.8949764750.025857
1娱乐411.8949764750.025857
0NBA47.8314494320.058352

分组计算

思路梳理：

  • 先进行groupby
  • 然后对分组后的结果进行循环 然后再对每个子块进行求和等等 结果都放到一个list里面去 然后构建字典 形成DataFrame
  • 最后进行一个合并
# 重新设置索引
data_new = data_new.reset_index(drop=True)
# 删空格 后面groupby发现的坑
data_new['interests_news'] = data_new['interests_news'].apply(lambda x: x.strip())
# 定义四个空列表 用来装每次分组计算的变量
interests_news = []
users = []
ret_users = []
ratio = []
# 进行groupby
dg1 = data_new.groupby('interests_news')
# 循环进行计算
for i in dg1:
    interests_news.append(i[0])
    users.append(i[1]['users'].sum())
    ret_users.append(i[1]['ret_users'].sum())
    ratio.append(i[1]['ret_users'].sum() / i[1]['users'].sum())
# 构建数据框
y = pd.DataFrame({'interests_news': interests_news, 
                 'users': users,
                 'ret_users': ret_users,
                 'ratio': ratio})
# 输出
y.to_csv('大于5的用户数分组计算结果.csv', index = False, encoding='gbk')
print(y.shape)
y.head()

(102, 4)
interests_newsusersret_usersratio
0CBA173.7070812561.473745
1NBA392.7998308842.250510
2三农87.064592911.045201
3世界史67.310528480.713113
4两性421.0346834050.961916

封装成函数

import pandas as pd
import copy
import time

# 函数作用：反斜杠连接的多个元素取斜杠后面的一个元素
# 增加一个判断 如果有多个元素 且有多个反斜杠 均要去考虑
def f1(x):
    s = x.split(',')
#     print(s)
    n = len(s)
    for i in range(n):
        if '/' in s[i]:
            s[i] = s[i].split('/')[1]
    return s

def Cleandata():
    t0 = time.time()
    # 1 读入数据
    data = pd.read_excel('./兴趣点.xlsx', sheet_name='Sheet2')
    data = data.dropna()
    print(data.shape)
    data.head()
    # 2 筛选数据
    data_10 = data[data['users'] > 5]
    # 重新设置索引
    data_10 = data_10.reset_index(drop=True)
    print(data_10.shape)
    # 3 字符串处理
    # 先拷贝下数据
    df = copy.deepcopy(data_10)
    df.head()
    df['interests_news'] = df['interests_news'].apply(lambda x: x.replace('[', '').replace(']', '').replace('"', ''))
    df['interests_news'] = df['interests_news'].map(f1).map(str)
    df['interests_news'] = df['interests_news'].apply(lambda x: x.replace('[', '').replace(']', '').replace("'", ''))
    # 4 对兴趣点变量进行拆分
    # 思路：其实就是一个数据框的拼接 分别每次形成一个数据框
    # 先定一个空列表
    data_need = []
    for i in range(len(df)):
        # 每次循环都清空兴趣点列表
        int_news = []
        # 根据逗号进行切分
        s = df['interests_news'][i].split(',')
        # 计算兴趣点词条的个数
        n = len(s)
        for j in range(n):
            # 将所有兴趣点内容放到一个list
            int_news.append(s[j])
        # 形成数据框
        y = pd.DataFrame({'interests_news': int_news})
        # 补充其余三列相同的信息
        y['users'] = df['users'][i]
        y['ret_users'] = df['ret_users'][i]
        y['次留'] = df['次留'][i]
        # 单个数据框ok之后放到list中 
        data_need.append(y)
    # 一起concat
    data_new = pd.concat(data_need, axis = 0)
    print(data_new.shape)
    data_new.head()
    # 5 分组计算
    # 重新设置索引
    data_new = data_new.reset_index(drop=True)
    # 删空格 后面groupby发现的坑
    data_new['interests_news'] = data_new['interests_news'].apply(lambda x: x.strip())
    # 定义四个空列表 用来装每次分组计算的变量
    interests_news = []
    users = []
    ret_users = []
    ratio = []
    # 进行groupby
    dg1 = data_new.groupby('interests_news')
    # 循环进行计算
    for i in dg1:
        interests_news.append(i[0])
        users.append(i[1]['users'].sum())
        ret_users.append(i[1]['ret_users'].sum())
        ratio.append(i[1]['ret_users'].sum() / i[1]['users'].sum())
    # 构建数据框
    y = pd.DataFrame({'interests_news': interests_news, 
                     'users': users,
                     'ret_users': ret_users,
                     'ratio': ratio})
    # 输出
    y.to_csv('大于5的用户数分组计算结果.csv', index = False, encoding='gbk')
    t1 = time.time()
    print('数据清洗完毕，所需时间为 %.2f s' % (t1-t0))
    return y.head()    

Cleandata()

(42934, 5)
(403, 5)
(934, 4)
数据清洗完毕，所需时间为 3.58 s
interests_newsusersret_usersratio
0CBA173.7070812561.473745
1NBA392.7998308842.250510
2三农87.064592911.045201
3世界史67.310528480.713113
4两性421.0346834050.961916

数据

上述代码所用到的数据

有兴趣的小伙伴可以自己尝试一波哦~

写代码的阿呆
关注
专栏目录
数据清洗：字符串处理
weixin_43850016的博客
09-24 831
在拿到数据之后，一般会有一个数据清洗的工作，尤其是脏数据，光整理的时间可能就会耗掉整个分析流程的大部分。 很多人以为最费时间的是数据建模，其实不然，前期的数据获取以及数据清洗才是最花时间的过程。 还是举个例子，现有已从天猫上爬下来的若干商品信息文本，包括名称、规格、价格、批准文号、厂家等。 但发现数据根本就用不了，因为·有几个问题十分突出： 其一：名称、规格混合在一起，比如“汤臣倍健蛋白粉乳清...
python随机分组的方法_Python几种分组计数方法比较
weixin_39933484的博客
12-08 1590
在数据清洗的过程中，常常会用到分组计数，当数据量很大的时候，需要考虑运行速度。Python中有多种方式可以实现分组计数，本文汇总了搜集到的几种方法，并对它们的运行速度做了测试。首先，生成一个长度为1000万的随机字符串列表，并引入时间模块计算运行时长：import randomimport stringimport timen = 10000000ran_str = [None]*nfor i i...
Python-(7)字符串的数据清洗，位置调整，搜索和统计
Ma_JunSSR的博客
10-08 541
1.字符串的数据清洗 1.strip 删除字符串开头和末尾的空格(指广义的空格：\n, \t, ' ') 2.lstrip 删除字符串开头的空格(指广义的空格：\n, \t, ' ') 3.rstrip 删除字符串末尾的空格(指广义的空格：\n, \t, ' ') 4.replace 字符串替换,删除中间的空格，将空格替换为空 例子： 2.字符串位置调整 center:居中 ljust：向左 rjust：向右 3.字符串的搜索和统计 1.find(str,beg,end) 检测str是否包含在s
python字符串的拼接和拆分，看这一篇就够了
最新发布
2401_85855266的博客
08-06 1228
本文详细介绍了 Python 中字符串的拼接和拆分方法，包括 + 运算符、join()、f-string、io.StringIO、%、split()、rsplit()、partition()、rpartition()、正则表达式 re.split() 以及字符串切片等.希望通过本文的介绍，读者能够对 Python 字符串的操作有更深入的理解。
学习笔记(16):Python数据清洗实战-字符串数据处理
Fracksol的博客
03-27 228
本次课程主要以真实的电商数据为基础，通过Python详细的介绍了数据分析中的数据清洗阶段各种技巧和方法。
自然语言处理——数据清洗
c673929079的博客
09-08 4493
自然语言处理数据清洗
对比Excel,轻松学习Python数据分析数据集（新）.zip
12-30
Python，特别是结合Pandas库，可以处理GB级别的数据，并且提供了高效的数据清洗、转换、合并和可视化功能。本数据集就是为了解释这些概念并提供实践机会。 压缩包内可能包含多个示例数据集，这些数据集涵盖了各种...
python数据分析及可视化（七）pandas数据清洗，显性问题（异常、缺失、重复），隐形问题（离散、面元、字符串）
hwwaizs的博客
10-07 2475
数据清洗是指我们拿到数据的格式、内容不方便直接做分析工作。比如要做土豆丝，买到土豆（拿到原数据）后不会直接做成菜，要先把土豆洗一下去掉泥土（相当于数据清洗），根据需求把土豆切成想要的形状（按照需求把数据进行规整），然后下锅炒，装盘（相当于数据分析的可视化，把数据通过图表的形式展现出来）。
python数据清洗入门教程（完整版）
m0_54883970的博客
06-12 8716
为了方便阅读和复习，本教程中的代码均采用图片形式，源代码和所需要的数据在下面的链接里 链接：https://pan.baidu.com/s/1-3PMsSs5XKjhszVXQIABpw 提取码：23uk数据清洗意义数据清洗常用工具数据库建立连接参数 conn =create_engine(‘mysql+pymysql://user:passward@IP:3306/test01’) root: 用户名 passward: 密码 IP : 服务器IP，本地电脑用localhost 3306： 端口号 tes
[Python3] Pandas v1.0 —— (七) 向量化字符串操作
進撃の算法
05-08 1296
文章目录十、向量化字符串操作Pandas字符串方法列表1. 与Python字符串方法相似的方法2. 使用正则表达式的方法3. 其他字符串方法 十、向量化字符串操作 Pandas提供一系列向量化字符串操作（vectorized string operation）是在处理（清洗）现实工作中的数据时不可或缺的功能。 Pandas字符串方法列表 1. 与Python字符串方法相似的方法 返回字符串Series[Series or Index of object]： 方法 参数 描述 lower()
python数据分析(英文版+目录+笔记+随书源码)
02-25
对于数据分析，理解变量、数据类型（如整数、浮点数、字符串、布尔值和列表）以及控制流（如条件语句和循环）至关重要。 2. **Numpy**：NumPy是Python中的一个核心库，用于处理大型多维数组和矩阵。它提供了高效的...
python遍历字符串并重组_Python-遍历字符串列表并分组部分匹配的字...
weixin_39641697的博客
01-30 358
尝试建立一个反向索引,然后您可以选择任何喜欢的关键字.这种方法忽略了单词顺序：index = {}for sentence in sentence_list:for word in set(sentence.split()):index.setdefault(word, set()).add(sentence)或采用这种方法,它通过所有可能的全字词前缀来索引索引：index = {}for sen...
python怎么对字符串进行分组_python 字符分组
weixin_39524882的博客
12-19 2156
展开全部按照你的思路62616964757a686964616fe58685e5aeb931333337613932，以/为分割条件使用字符串的find方法S.find(substr, [start, [end]])#返回S中出现substr的第一个字母的标号，如果S中没有substr则返回-1。start和end作用就相当于在S[start:end]中搜索查找到/ask/之后出现的第一个/这样可...
面试题：将一个字符串数组进行分组输出，每组中的字符串都由相同的字符组成
木木的mum
02-03 355
输出：[aabb,ab] [cc,c], [dd],[cd]输入：[aabb,ab,cc,dd,c,cd]
python 分组输出,将字符串等分（Python中的分组器）
weixin_35554273的博客
03-25 1035
在本教程中，我们将编写一个程序，将给定的字符串分成相等的部分。让我们来看一个例子。输入值string='Nhooo.com'each_part_length=5输出结果Nhooo.comX输入值string='Nhooo'each_part_length=6输出结果Nhooo.comXXX我们将使用itertools模块中的zip_longest方法来获得结果。zip_lo...
python怎么对字符串进行分组_python – 对类似字符串进行分组
weixin_39621975的博客
12-19 571
您需要对这些术语进行聚类,对于相似性度量,我建议在字符 – 克级别使用Dice’s Coefficient.例如,将字符串分成两个字母的序列进行比较(term1 =“NB”,“BA”,“A”,“B”,“Ba”……).nltk似乎提供了骰子作为nltk.metrics.association.BigramAssocMeasures.dice(),但它足够简单,以允许调整的方式实现.以下是如何比较角色...
Python超市数据分析，圈定大促时机
菜鸟学Python数据分析
10-14 599
前几天，一位开连锁超市的老板请我帮忙，让我分析一下超市近期的运营数据，通过分析，对超市近期的运行状况有了直观的了解，现在我把这个实例分享给大家1.读取数据数据存放在表格中，我们用pand...
Python之字符串分段组合及split()方法
热门推荐
wls.ink
04-06 1万+
字符串的分段组合问题 问题： 用户输入一个字符串s，以字符减号(+)分割s，将其中的首尾段用加号(-)组合输出 如表输入输出： 输入 输出 Learning+python+is+a+great+choice Leaning-choice 1+2+3+4+5+6+7+8 1-2 s = input(); str = s.split("+") print("{}+{}".for...
Python数据清洗实战：字符串处理与正则表达式解析
"Python数据清洗系列之字符串处理详解" 在Python数据清洗过程中，字符串处理是不可或缺的一部分，尤其是在文本分析领域。本文将深入探讨Python中的字符串处理技术及其在数据清洗中的应用。 字符串处理方法主要包括...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值