第五章:处理数据

最新推荐文章于 2023-04-17 21:13:01 发布
最新推荐文章于 2023-04-17 21:13:01 发布
阅读量124 收藏
点赞数
原文链接：http://www.cnblogs.com/minseo/p/6754547.html
版权

这个教练是你的好朋友，他记录了四个人的跑步十个跑步时间在四个文件里面

james.txt ,julie.txt,mikey.txt,sarah.txt

 2-34,3:21,2.34,2.45,3.01,2:01,2:01,3:10,2-22

2.59,2.11,2:11,2:23,3-10,2-23,3:10,3.21,3-21

2:22,3.01,3:01,3.02,3:02,3.02,3:22,2.49,2:38

2:58,2.58,2:39,2-25,2-55,2:54,2.18,2:55,2:55

写一个脚本为这四个文件创建一个列表并且在屏幕上面显示出来

vim chapter5-1.py

#!/usr/bin/python
# -*- coding:utf-8 -*-
with open('james.txt') as jaf:          #打开文件       
        data = jaf.readline()           #读取第一行
        james = data.strip().split(',') #去空格以,为分割符转换成列表赋值给james
with open('julie.txt') as juf:
        data = juf.readline()
        julie = data.strip().split(',')
with open('mikey.txt') as mif:
        data = mif.readline()
        mikey = data.strip().split(',')
with open('sarah.txt') as saf:
        data = saf.readline()
        sarah = data.strip().split(',')
print (james)
print (julie)
print (mikey)
print (sarah)

执行输出

[root@VPN chapter5]# python chapter5-1.py
['2-34', '3:21', '2.34', '2.45', '3.01', '2:01', '2:01', '3:10', '2-22']
['2.59', '2.11', '2:11', '2:23', '3-10', '2-23', '3:10', '3.21', '3-21']
['2:22', '3.01', '3:01', '3.02', '3:02', '3.02', '3:22', '2.49', '2:38']
['2:58', '2.58', '2:39', '2-25', '2-55', '2:54', '2.18', '2:55', '2:55']

下面想要把时间按升序排列

在Python里面排序有两种方法

1，原地排序

>>> data = [6,3,1,2,4,5]
>>> data.sort()
>>> data
[1, 2, 3, 4, 5, 6]

2，复制排序

>>> data
[1, 2, 3, 4, 5, 6]
>>> data = [6,3,1,2,4,5]
>>> data
[6, 3, 1, 2, 4, 5]
>>> data2 = sorted(data)
>>> data
[6, 3, 1, 2, 4, 5]
>>> data2
[1, 2, 3, 4, 5, 6]

修改以上源代码

vim chapter5-2.py

#!/usr/bin/python
# -*- coding:utf-8 -*-
with open('james.txt') as jaf:          #打开文件       
        data = jaf.readline()           #读取第一行
        james = data.strip().split(',') #去空格以,为分割符转换成列表赋值给james
with open('julie.txt') as juf:
        data = juf.readline()
        julie = data.strip().split(',')
with open('mikey.txt') as mif:
        data = mif.readline()
        mikey = data.strip().split(',')
with open('sarah.txt') as saf:
        data = saf.readline()
        sarah = data.strip().split(',')
'''
print (james)
print (julie)
print (mikey)
print (sarah)
'''
print (sorted(james))
print (sorted(julie))
print (sorted(mikey))
print (sorted(sarah))

　　执行

[root@VPN chapter5]# python chapter5-2.py
['2-22', '2-34', '2.34', '2.45', '2:01', '2:01', '3.01', '3:10', '3:21']
['2-23', '2.11', '2.59', '2:11', '2:23', '3-10', '3-21', '3.21', '3:10']
['2.49', '2:22', '2:38', '3.01', '3.02', '3.02', '3:01', '3:02', '3:22']
['2-25', '2-55', '2.18', '2.58', '2:39', '2:54', '2:55', '2:55', '2:58']

观察排序第四行2-25排序到2.18前面了，只不符合我们的需求

是因为数据格式不统一导致分割符需要统一

光是分隔符还远远不够，因为分割后会把所有成绩成为字符串来保存，Python

可以对字符串进行排序。短横在点号前面点号在冒号前面，教练数据中的这种

不一致性导致的排序失败

 

下面创建一个函数名为sanitize（），这个函数从各个选手的列表接收一个字符串作为

输入，然后处理这些字符串。把所有的横线和冒号转换成点，如果已经包含点则不处理

定义函数然后使用函数处理字符串，把字符串里面包含的-和：全部转换成.

vim chapter5-3.py

#!/usr/bin/python
# -*- coding:utf-8 -*-
def sanitize(time_string):              #定义函数
        if '-' in time_string:
                splitter = '-'
        elif ':' in time_string:
                splitter = ':'          #检查字符串是否有:和-
        else:
                return(time_string)
        (mins,secs) = time_string.split(splitter)       #分解字符串抽出分和秒
#!/usr/bin/python
# -*- coding:utf-8 -*-
def sanitize(time_string):              #定义函数
        if '-' in time_string:
                splitter = '-'
        elif ':' in time_string:
                splitter = ':'          #检查字符串是否有:和-
        else:
                return(time_string)
        (mins,secs) = time_string.split(splitter)       #分解字符串抽出分和秒
        return(mins + '.' + secs)
with open('james.txt') as jaf:          #打开文件       
        data = jaf.readline()           #读取第一行
        james = data.strip().split(',') #去空格以,为分割符转换成列表赋值给james
with open('julie.txt') as juf:
        data = juf.readline()
        julie = data.strip().split(',')
with open('mikey.txt') as mif:
        data = mif.readline()
        mikey = data.strip().split(',')
with open('sarah.txt') as saf:
        data = saf.readline()
        sarah = data.strip().split(',')
clean_james = []
clean_julie = []
clean_mikey = []
clean_sarah = []        #定义新的列表接收排序后的参数

for each_t in james:
        clean_james.append(sanitize(each_t))
for each_t in julie:
        clean_julie.append(sanitize(each_t))
for each_t in mikey:
        clean_mikey.append(sanitize(each_t))
for each_t in sarah:
        clean_sarah.append(sanitize(each_t))


print (sorted(clean_james))
print (sorted(clean_julie))
print (sorted(clean_mikey))
print (sorted(clean_sarah))

　　执行

[root@VPN chapter5]# python chapter5-3.py
['2.01', '2.01', '2.22', '2.34', '2.34', '2.45', '3.01', '3.10', '3.21']
['2.11', '2.11', '2.23', '2.23', '2.59', '3.10', '3.10', '3.21', '3.21']
['2.22', '2.38', '2.49', '3.01', '3.01', '3.02', '3.02', '3.02', '3.22']
['2.18', '2.25', '2.39', '2.54', '2.55', '2.55', '2.55', '2.58', '2.58']

输出了正确的排序

 

但是以上方法会有太多的列表以及迭代，代码会重复。Python提供了一个工具转换列表

看一下例子

>>> mins = [1,2,3]
>>> secs = [m*60 for m in mins]
>>> secs
[60, 120, 180]

分钟转换成秒

lower = ["I","am","liuyueming"]

upper = [s.upper() for s in lower]

>>> upper
['I', 'AM', 'LIUYUEMING']

所有字母转换成大写

修改代码改成列表推算的方法

vim chapter5-4.py

#!/usr/bin/python
# -*- coding:utf-8 -*-
def sanitize(time_string):              #定义函数
        if '-' in time_string:
                splitter = '-'
        elif ':' in time_string:
                splitter = ':'          #检查字符串是否有:和-
        else:
                return(time_string)
        (mins,secs) = time_string.split(splitter)       #分解字符串抽出分和秒
        return(mins + '.' + secs)
with open('james.txt') as jaf:          #打开文件       
        data = jaf.readline()           #读取第一行
        james = data.strip().split(',') #去空格以,为分割符转换成列表赋值给james
with open('julie.txt') as juf:
        data = juf.readline()
        julie = data.strip().split(',')
with open('mikey.txt') as mif:
        data = mif.readline()
        mikey = data.strip().split(',')
with open('sarah.txt') as saf:
        data = saf.readline()
        sarah = data.strip().split(',')

clean_james = [sanitize(t) for t in james]
clean_julie = [sanitize(t) for t in julie]
clean_mikey = [sanitize(t) for t in mikey]
clean_sarah = [sanitize(t) for t in sarah]      #定义新的列表使用推导列表的方法赋值

print (sorted(clean_james))
print (sorted(clean_julie))
print (sorted(clean_mikey))
print (sorted(clean_sarah))

　　运行结果是一样的但是代码精简了不少

但是教练想要的结果是去除相同的数据然后取出排名前三的数据

vim chapter5-5.py

#!/usr/bin/python
# -*- coding:utf-8 -*-
def sanitize(time_string):		#定义函数
	if '-' in time_string:						
		splitter = '-'
	elif ':' in time_string:	
		splitter = ':'		#检查字符串是否有:和-
	else:
		return(time_string)
	(mins,secs) = time_string.split(splitter)	#分解字符串抽出分和秒
	return(mins + '.' + secs)	
with open('james.txt') as jaf:		#打开文件	
	data = jaf.readline()		#读取第一行
	james = data.strip().split(',') #去空格以,为分割符转换成列表赋值给james
with open('julie.txt') as juf:
	data = juf.readline()
	julie = data.strip().split(',')
with open('mikey.txt') as mif:
	data = mif.readline()
	mikey = data.strip().split(',')
with open('sarah.txt') as saf:
	data = saf.readline()
	sarah = data.strip().split(',')

clean_james = sorted([sanitize(t) for t in james])
clean_julie = sorted([sanitize(t) for t in julie])
clean_mikey = sorted([sanitize(t) for t in mikey])
clean_sarah = sorted([sanitize(t) for t in sarah])	#定义新的列表使用推导列表的方法赋值

unique_james = []				#新建列表存储去除重复数据以后的数据
for each_t in clean_james:
	if each_t not in unique_james:		
		unique_james.append(each_t)	#如果不在列表中追加到列表中
print (unique_james[0:3])			#输出前三

unique_julie = []
for each_t in clean_julie:
	if each_t not in unique_julie:
		unique_julie.append(each_t)
print (unique_julie[0:3])
	
unique_mikey = []
for each_t in clean_mikey:
	if each_t not in unique_mikey:
		unique_mikey.append(each_t)
print (unique_mikey[0:3])

unique_sarah = []
for each_t in clean_sarah:
	if each_t not in unique_sarah:
		unique_sarah.append(each_t)
print (unique_sarah[0:3])

　　

[root@VPN chapter5]# python chapter5-5.py
['2.01', '2.22', '2.34']
['2.11', '2.23', '2.59']
['2.22', '2.38', '2.49']
['2.18', '2.25', '2.39']

 

去除了排序以后重复的数据然后取出前三的数据了

这里使用了一个逻辑新建一个列表来存储去重的数据，有没有办法直接去重呢

python提供了一个内置函数集合来去重

vim chapter5-6.py

#!/usr/bin/python
# -*- coding:utf-8 -*-
def sanitize(time_string):		#定义函数
	if '-' in time_string:						
		splitter = '-'
	elif ':' in time_string:	
		splitter = ':'		#检查字符串是否有:和-
	else:
		return(time_string)
	(mins,secs) = time_string.split(splitter)	#分解字符串抽出分和秒
	return(mins + '.' + secs)	
with open('james.txt') as jaf:		#打开文件	
	data = jaf.readline()		#读取第一行
	james = data.strip().split(',') #去空格以,为分割符转换成列表赋值给james
with open('julie.txt') as juf:
	data = juf.readline()
	julie = data.strip().split(',')
with open('mikey.txt') as mif:
	data = mif.readline()
	mikey = data.strip().split(',')
with open('sarah.txt') as saf:
	data = saf.readline()
	sarah = data.strip().split(',')



print (sorted(set([sanitize(t) for t in james]))[0:3])		#输出前三
print (sorted(set([sanitize(t) for t in julie]))[0:3])		#输出前三
print (sorted(set([sanitize(t) for t in mikey]))[0:3])		#输出前三
print (sorted(set([sanitize(t) for t in sarah]))[0:3])		#输出前三

[root@VPN chapter5]# python chapter5-6.py
['2.01', '2.22', '2.34']
['2.11', '2.23', '2.59']
['2.22', '2.38', '2.49']
['2.18', '2.25', '2.39']

输出结果一样但是代码又精简了不少

使用一个函数来代替with

vim chapter5-7.py

#!/usr/bin/python
# -*- coding:utf-8 -*-
def sanitize(time_string):              #定义函数
        if '-' in time_string:
                splitter = '-'
        elif ':' in time_string:
                splitter = ':'          #检查字符串是否有:和-
        else:
                return(time_string)
        (mins,secs) = time_string.split(splitter)       #分解字符串抽出分和秒
        return(mins + '.' + secs)
def get_coach_data(filename):
        try:
                with open(filename) as f:
                        data = f.readline()
                return(data.strip().split(','))
        except IOError as ioerr:
                print('File error:' + str(ioerr))
                return(None)

james = get_coach_data('james.txt')
julie = get_coach_data('julie.txt')
mikey = get_coach_data('mikey.txt')
sarah = get_coach_data('sarah.txt')

print (sorted(set([sanitize(t) for t in james]))[0:3])          #输出前三
print (sorted(set([sanitize(t) for t in julie]))[0:3])          #输出前三
print (sorted(set([sanitize(t) for t in mikey]))[0:3])          #输出前三
print (sorted(set([sanitize(t) for t in sarah]))[0:3])          #输出前三

　　输出结果是一样的，代码又精简了不少

[root@VPN chapter5]# python chapter5-7.py
['2.01', '2.22', '2.34']
['2.11', '2.23', '2.59']
['2.22', '2.38', '2.49']
['2.18', '2.25', '2.39']

转载于:https://www.cnblogs.com/minseo/p/6754547.html

abtmh02622
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Mac 和Linux 安装 Mujoco， 无需lisence
AIhub的博客
12-22 3642
使用现有的开源框架可以使我们更好地完成强化学习的入门，其中OpenAI给我们提供了gym、baselines、mujoco这些方便学习的环境和算法。以前安装mujoco需要先申请lisence，试用期结束以后价格昂贵。然而好消息是，mujoco最近被openai收购，并且完全开源。我最近尝试了一下，lisence现在可以免费下载，并且能够使用。 以下是mujoco安装过程。Mac, Linux 系统安装过程差别不大。 过程参考：【强化学习】gym+baselines+mujoco+mujoco_...
mujoco和mujoco_py安装以及解决libXcursor.so.1:NO such dictionary
执妄
07-22 810
在目标文件夹（环境文件夹即可）下创建文件夹.mojoco解压缩之后把里面的mujoco200文件夹放到.mojoco文件夹下然后把mikey.txt文件放到.mujoco文件夹下一份，再放一份到下。
0.mujoco安装及测试（linux）
piaoling33333的博客
02-20 345
mujoco下载
mujoco环境安装问题
最新发布
qq_42256930的博客
04-17 1164
mujoco是物理引擎，要装到ubuntu系统中，一般有两个版本，一个是mujoco 200另外一个是mujoco 210mujoco_py是这个物理引擎的api接口．。
第5章：数据处理与汇总.rar
11-29
在本章"第5章：数据处理与汇总"中，我们将深入探讨数据处理的重要性和方法，以及如何有效地汇总大量信息。数据处理是信息技术的核心部分，它涵盖了从收集、清理、转换到分析数据的整个过程。汇总数据则是在处理后的...
云计算与大数据应用开发 第五章：大数据处理.pdf
12-11
《云计算与大数据应用开发》第五章主要探讨了大数据处理这一主题。大数据处理是现代信息技术领域中的关键组成部分，它涉及到海量数据的存储、管理和分析，以提取有价值的信息并推动业务决策。 首先，章节介绍了大...
(第五章)空间数据采集与处理.ppt
11-19
5. 数字数据：随着GIS发展，数字图形和属性数据成为常见信息源，需要注意数据格式转换和精度评估。 6. 文字报告和立法文件：在特定GIS系统中，如城市规划，法规和报告是必不可少的信息。 7. 多媒体数据：包含多种...
第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf
06-27
第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大数据处理实战)Hadoop的IO操作.pdf第五章(Hadoop大...
第九章 GPS测量数据处理PPT课件.ppt
09-06
第九章GPS测量数据处理主要涉及GPS测量技术的基础知识及其在实际应用中的处理流程。GPS接收机通过采集伪距、载波相位和卫星星历等数据，用于定位和导航。在数据处理阶段，通常会经历以下几个关键步骤： 1. **数据...
mujoco200+mikey.txt
07-22
mujoco200+mikey.txt，这两个资源在各个博客上给的链接都失效了，上传上来供大家学习spinning up时安装Mujoco使用
Windows10安装开源Mujoco
fangchenglia的博客
04-20 2432
2022年Windows10安装开源Mujoco，奶奶都会安装成功的那种
在WSL上安装MuJoCo和mujoco_py
weixin_41231535的博客
05-28 2049
主要是想跟着 UC Berkeley 的深度强化学习课程CS285 Fall 2021上手搭一个基于MuJoCo和mujoco_py的实验框架, 也会包括OpenAI的gym. 这里配置了图形界面. 还介绍了根据课程例程在Jupyter Notebook运行的方法.
Head First Python 学习笔记-Chapter5：数据处理
生命在于折腾
08-27 1349
本章的目的是学习简单的数据处理，首先给出了一些文本数据，需要将这些文本数据读取，并转换为列表，然后对列表中的数据进行统一格式化，最后进行排序。
Windows10安装mujoco150 , 本地安装mujoco_py1.50.1, gym
qlpdong的博客
04-28 1018
创建虚拟环境并激活 conda create -n mujoco conda activate mujoco 下载mujoco 1.下载地址 2.在系统主目录下新建.mujoco文件夹。 一般来讲系统主目录是C:\Users\user，这里的user是电脑的用户名 ( 我的是C:\Users\QL)，如果你的电脑无法直接右键创建.mujoco文件夹，那么运行cmd，用命令md .mujoco回车创建。 3.将下载的mjpro150_win64.zip解压到.mujoco文件夹下 注意解压后的文件夹名字叫
mujoco_py 下载、安装和问题汇总_ 你挖坑我栽树他乘凉
yao52119471的博客
11-19 5933
mujoco_py 下载、安装和问题汇总——你挖坑我栽树他乘凉 一： 安装平台 系统win10 python版本pyhon3.6 二：其他必备软件及下载链接 1：安装Microsoft Visual C++ 14.0 可官网下载，我用的这个visualcppbuildtools_full.exe，下载地址：https://pan.baidu.com/s/1Lw6N2fMBdGuCRyXZQO...
Ubuntu18.04搭建深度强化学习环境
Honour_Forever的博客
04-29 846
自己记录一下DRL的环境搭建, 花了一下午, 不过还是基本搭建完成了. 博主使用的是Ubuntu18.04 + Anaconda3 + cuda10.1 + python3.7 + tensorflow2.1 1. 配置Mujoco-py 环境和文件 mujoco200的安装需要去官网申请激活码 MuJoCo(Multi-Joint dynamics withContact)是一个模拟机器人，生物力学，图形和动画等领域的物理引擎。用于物理仿真分析，主要用于机器人领域的开发和研究。 安装Mujoco是
python 字典
csdn_xhl868的专栏
07-28 280
本文来源《Head Firest Python》书籍 字典 这是一个内置的数据结构，允许将数据与键而不是数字关联。这样可以使内存中的数据与实际数据的结构保持一致。 python 字典在其他编程语言中还有不同的名字，如“映射”，“散列”，“关联数组” 定义字典 方法 1    cleese={} 方法2     cleese=dict() 例子，仍旧使用上
强化学习环境配置（Ubuntu16.04）---gym、mujoco、mujoco-py、baselines安装与测试
热门推荐
Will_Ye的博客
07-18 1万+
强化学习环境配置（Ubuntu16.04）—gym、mujoco、mujoco-py、baselines 在Ubuntu14上也搭了这个环境，但是最后训练的时候老是出问题，不是segmentation fault就是import error.Trying to rebuild mujoco_py，重新rebuild了也不行，一起做实验的小伙伴们果断放弃了14，投奔16，个个都成功了，所以啊，也是...
地理信息系统第四章：数据采集与处理方式详解
本文将从数据采集方式、地图数字化、地图数据处理、空间数据的压缩处理和属性数据输入五个方面对GIS数据采集与处理进行探讨。 首先，数据的采集方式包括手工方式、手扶跟踪化数字方式、扫描方式、影像处理和信息...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值