创建DataFrame or 插入行(DataFrame.append / DateFrame.loc)

对比了readline速度,
使用list.append并一次合并DataFrame,
使用逐行创建DataFrame,再用DataFrame.append合并,
使用DataFrame.loc[] = []的方式逐行插入数据。

为DataFrame插入数据是非常不建议的选择,
应该直接用list装入所有数据,最后一次性合成DataFrame。
(文件大小:6200 kb,43000 行)

import pandas as pd
from datetime import *


def test(path):
	start = datetime.now()
	with open(path) as f:
		all = pd.DataFrame()
		while True:
			i_line = f.readline()
			if i_line == "":
				break
			if i_line.find("Date") == -1:
				new = pd.DataFrame({"Date":i_line.split(",")[0],"value":i_line.split(",")[6]},index=["0"])
				all = all.append(new, ignore_index=True)
	end = datetime.now()
	print(end-start)
	return all

def test_loc(path):
	start = datetime.now()
	with open(path) as f:
		all_loc = pd.DataFrame({"Date":[],"value":[]},index=[])
		n=0
		while True:
			i_line = f.readline()
			if i_line == "":
				break
			if i_line.find("Date") == -1:
				all_loc.loc[n] = [i_line.split(",")[0], i_line.split(",")[6]]
				n+=1
	end = datetime.now()
	print(end-start)
	return all_loc

def test_readline(path):
	start = datetime.now()
	with open(path) as f:
		while True:
			i_line = f.readline()
			if i_line == "":
				break
			if i_line.find("Date") == -1:
				pass
	end = datetime.now()
	print(end-start)

def test_list(path):
	start = datetime.now()
	with open(path) as f:
		list_date = []
		list_value = []
		while True:
			i_line = f.readline()
			if i_line == "":
				break
			if i_line.find("Date") == -1:
				list_date.append(i_line.split(",")[0])
				list_value.append(i_line.split(",")[6])
	all_list = pd.DataFrame({"Datetime":list_date, "value":list_value})
	end = datetime.now()
	print(end-start)
	return all_list
test_readline(path)
df_list = test_list(path)
df = test(path)
df_loc = test_loc(path)

# 0.006s
# 0.153s
# 1M0.52S
# 2M40S

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值