利用pandas对日期、国家省市数据进行预处理

已于 2022-03-14 17:31:14 修改
阅读量940 收藏 3
点赞数
文章标签： python 机器学习 数据挖掘
于 2022-03-13 21:07:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/changhaiyisheng520/article/details/123465456
版权
本文介绍了如何利用pandas对日期和login_place字段进行预处理，包括拆分login_place获取国家信息，以及对login_time进行处理，转换为更直观的weekday_name。在拆分login_place时，首先提取了国家，然后使用cpca库处理省市区，最后删除多余列。同时提到了映射函数在数据处理中的高效性。
摘要由CSDN通过智能技术生成

利用pandas对日期、国家省市数据进行预处理

提示：日期格式形如 “2018-09-06 09:32:47”
国家省市数据形如"中国广东广州

首先查看原始数据

login = pd.read_csv("E:/jupyter/education/data/login.csv",encoding='gbk')
login.head(10)

注：encoding = 'gbk'是为了解决读取以后汉字乱码的问题
数据显示如下图。
Alt

拆分login_place

注：目标是将login_place列数据拆分为国家、省份和市。

第一，先将login_place中的国家提取出来。

login['country'] = login['login_place'].apply(lambda x:x[0:2])

注：这里是login['login_place']列的每一个数据进行切片，字符串切片，string[a:b]，a为第一个要切的元素的索引，而b为第一个不要元素的索引（到想要元素的索引+1）。

这里提取国家的做法比较欠妥，只针对国家名字为两个字的。
第二，利用cpca.transform对提取完国家的省市区进行提取。
注：cpca仅仅用于提取简体中文字符串中省，市和区并能够进行映射。

#首先创建剔除国家后剩余的省市数据
login['login_country'] = login['login_place'].apply(
最低0.47元/天 解锁文章
changhaiyisheng520
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
机器学习-时间序列（一）：日期和时间处理
全栈川川
11-09 1042
日期和时间处理
[Pyhon大数据分析] 二.PyEcharts绘制全国各地区、某省各城市地图及可视化分析
热门推荐
杨秀璋的专栏
05-21 2万+
本系列文章是Python大数据分析系列博客，包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。前文分享了数据抓取，并将数据存储至本地，最后调用Maplotlib和Seaborn绘制。本文将结合PyEcharts绘制地图、折线图、柱状图，希望这篇可视化分析文章对您有所帮助，也非常感谢参考文献中老师的分享，一起加油！如果您有想学习的知识或建议，可以给作者留言~
地理信息|空间数据挖掘预处理
chengduxiu的博客
02-02 1235
​空间数据挖掘在获取数据后第一件事情就是对数据进行预处理。 预处理原因：数据质量差 数据不完整 噪声 不同数据源获取的统一数据不一致 而高质量的数据才有高质量的结果，预处理目的有两个，提高数据质量，加快挖掘信息的速率。 预处理的主要任务有： 数据清理：填空缺，去噪声（这两个一般用插值），识别或删除离群值（与实际情况偏离较大但是不是噪声的有用...
案例二 预处理部分地区信息
weixin_51704612的博客
05-05 694
案例需求 1.检查重复并且处理重复数据 2.检查缺失值 3.检查异常值 4.合并两个文件
【Pandas】深入解析Pandas中的统计汇总函数`dt.weekday_name()`
qq_38614074的博客
07-13 1011
是 Pandas 中用于获取日期时间索引（DatetimeIndex）或日期时间序列（datetime64 类型）中每个元素的星期几名称的函数。该函数返回的是星期的英文名称，比如 “Monday”, “Tuesday” 等。这个函数非常有用，尤其是在进行数据可视化或报告生成时，需要明确知道每个日期是星期几。
pandas案例——预处理部分地区数据
CarveStone的博客
01-18 1878
数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。
数据分析项目的预处理部分——技术总结
weixin_37856444的博客
09-25 318
1. 根据文件路径来读取文件、导出文件，以及各种参数设置： sample_info=pd.read_csv('./venv/data/sample_info.csv') #读取文件得到的sample_info是dataframe类型的 result_AnCg=pd.read_csv('./venv/data/AnCg_temp.csv', header=1) # header=1 让第2行作为这个dataframe的列名 sample_DLPFC.to_csv('./venv/data/samp.
天猫订单数据分析
YPS的博客
10-04 1733
项目说明 数据说明 本数据集共收集了发生在一个月内的28010条数据，包含以下字段： [‘订单编号’, ‘总金额’, ‘买家实际支付金额’, ‘收货地址’, ‘订单创建时间’, '订单付款时间 ', ‘退款金额’] 1.订单实际支付金额 = 订单总金额 - 退款金额 2.若付款时间为NAN，则此订单未支付。未支付订单则退款金额为0。 分析目的 1、订单每个环节的转化情况 2、订单成交的时间特点 3、各区域订单情况 思维导图 数据预处理 import numpy as np import pandas as
基于Python的超市零售数据分析
weixin_46366524的博客
10-20 6604
数据来源于Kaggle平台，这是一份全球大型超市五年的零售数据集，数据信息详尽。数据集为"全球超市订单数据.xlsx"，共51290条数据记录，每条记录共24个特征。本项目分别通过“场、货、人”三个不同的角度去分析了一家全球超市的销售、商品、用户情况，并根据分析结果给出一些利于拓展用户、提高销量和利润的方法建议。当然，这份数据集包含信息很多，还可以继续进行其它一些方面的分析，来给出更好的建议和业务决策支持。
疫情通报的可视化分析呈现
最新发布
程序员光剑
08-13 671
1. 背景介绍 1.1 疫情通报的必要性与挑战 新冠疫情的全球爆发对人类社会造成了巨大的冲击，及时、准确、透明的疫情信息对于疫情防控至关重要。疫情通报作为政府向公众发布疫情信息的重要途径，承担着传递疫情动态、引导公众认知、稳定社会情绪的重要责任。然而，传统的疫情通报方式往往以文字和表格为主，信
机器学习-如何预处理数据集的时间
weixin_53332379的博客
12-07 1443
机器学习-如何预处理数据集的时间 如果一个数据集里包含许多时间参数 （eg: 08/22/2016）。首先要处理时间参数，这里给大家介绍将数据集的时间分成工作日和周末，并将其重新定义为0和1，方便对数据集进行分析。 话不多说 直接上代码 Anaconda import datetime import numpy as np data = pd.read_csv(‘文件名.csv’) data = data.dropna(axis=0) data[‘day’] = data[‘Date/Time’].appl
Python数据分析与处理——处理中国地区信息
qq_46258465的博客
12-27 3653
预处理地区信息 2.1数据的爬取 代码： import pandas as pd data=pd.read_csv("example_data.csv",header=1) print(data) data1=pd.read_csv("北京地区信息.csv",header=1,encoding='gbk') data2=pd.read_csv("天津地区信息.csv",encoding='gbk') print(data1) print(data2) 代码运行结果： 首先使用panda
数据分析及预处理（二）——时间特征
North_City_的博客
11-15 2596
文章目录前言一、时间戳与时间二、时间格式解析三、DataFrame的更改 前言 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。 今天总结的是时间特征部分。时间特征构造包括连续时间特征和离散时间特征。连续时间特征比如持续时间和间隔时间，离散时间特征有拆解、判断等。本学习案例中用到的是离散时间特征构造，将一天时间按照从凌晨00：00：00开始进行标记，每五分钟是一个间隔，一天标记288..
pandas数据处理清洗案例：中文地址拆分
weixin_48967543的博客
06-15 445
一、案例场景返利网站 https://www.cpa5.cn/ 字段login_place，一共267725行记录,随机15条记录如下：   后续数据分析工作需要用到地理维度进行分析，所以需要把login_place字段进行拆分成：国家、省份、地区。 二、初步方案   第三方中文分词库：jieba，可以对文本进行拆分。使用参考资料：jieba库的使用。初步方案： 用jieba.cut()将文本拆分为单词列表list_word; 分支判断list_word长度，赋值国家、城市、地区。 代码：（抽取1000条.
Python 数据分析 —— Pandas ③
苍夜月明的博客
06-07 2283
  先导包 再读数据 这样才能正式开始学习                  一个轴上拥有多个索引，使⾼维数据可以被紧凑的表示在我们熟悉的⼀维Series和⼆维DataFrame对象中，即降低维度形式处理高维度数据。     多重索引通过 参数实现： 查看索引： MultiIndex 意思是：多索引  切片：      取内层：    逗号（，）前是外层，逗号（，）后是内层   取所有外层的 索引为1内层： 取（c，2）元素：   通过 （不堆叠）方法可以将Series变成一个DataFrame 外层
【大数据处理与可视化】四、数据预处理
慢热型网友的博客
05-03 2991
预处理部分地区信息：给定北京和天津地区的统计信息，这些数据中都或多或少的存在一些问题，如重复的数据、缺失的数据。请使用Pandas对爬取的数据进行预处理操作，具体包括：检查重复数据，一旦发现有重复的数据，就需要将其进行删除。检查异常，一旦发现数据中存在异常，通常先要对原始数据进一步确认，如果是错误的数值，则直接使用正确的数值进行替换。通过本次实验，我能熟练运用数据清洗的常见操作检查和处理各类有问题的数据，其中包括重复值的查询和处理，缺失值的查询和处理，基于three_sig和基于箱型图的异常值的查询处理。
【Pandas】Pandas基础知识汇总
好记性不如烂笔头
12-14 1385
用于数据分析、数据处理和数据可视化。
pandas怎么对导入的数据进行预处理
05-25
pandas是一个强大的数据处理工具，可以对导入的数据进行多种预处理操作。以下是一些常见的预处理操作： 1. 数据清洗：去除重复值、缺失值、异常值等。 ```python df.drop_duplicates() # 去除重复行 df.dropna() # 去除含有缺失值的行 df.fillna(value) # 将缺失值填充为指定值 ``` 2. 数据转换：转换数据类型、重命名列名、去除列、添加列等。 ```python df.astype(type) # 转换数据类型 df.rename(columns={'old_name': 'new_name'}) # 重命名列名 df.drop(columns=['column_name']) # 去除指定列 df['new_column'] = value # 添加新列 ``` 3. 数据合并：将多个数据集合并为一个。 ```python pd.concat([df1, df2]) # 竖直合并两个数据集 pd.merge(df1, df2, on='key') # 按照指定列进行横向合并 ``` 4. 数据分组：将数据按照指定条件进行分组。 ```python df.groupby('column_name') # 按照列进行分组 df.groupby(['column1', 'column2']) # 按照多列进行分组 ``` 5. 数据统计：对数据进行统计分析。 ```python df.describe() # 统计数值型变量的基本统计量 df.groupby('column_name').agg({'column2': 'mean'}) # 对分组后的数据进行统计分析 ``` 以上是一些常见的数据预处理操作，pandas还有很多其他的功能，可以根据实际情况选择使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

changhaiyisheng520

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值