csv转为矩阵 python_Python单机查询1.5亿行数据秒出

最新推荐文章于 2024-01-29 08:00:00 发布
最新推荐文章于 2024-01-29 08:00:00 发布
阅读量226 收藏
点赞数
文章标签： csv转为矩阵 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29552815/article/details/112373151
版权

7bb9760a64b078315d71788ec9a5d7bf.png

昨天介绍了Why DuckDB，今天就用它来体验在Python下1.5亿行数据的查询。

数据

最早知道 AirOnTime87to12 是学Sparklyr的时候看到一篇文章，使用Sparklyr导入30GB数据[1]，具体文章内容，有兴趣的自己看，这里就不展开了。

AirOnTime87to12是一份航线准点率( On-time performance，OTP)的压缩包：

  • 303 个CSV，大小30G

  • 148617414 行数据，29个变量

  • Zip压缩包4.2G

  • 2013年8月由transtats.bts.gov提供下载

  • 转为snappy压缩的parquet 2.4G

硬件环境

  • OS：MacOS  10.15.6 (19G2021)

  • CPU：2.8 GHz Quad-Core Intel Core i7

  • MEM：16 GB 1600 MHz DDR3

  • HD：1T SSD

Python

  • Python 3.7

最低0.47元/天 解锁文章
创业Daily
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python3 读取txt、csv、mat文件数据并存入array具体实现
fsfsfsdfsdfdr的博客
12-16 6238
1、读取txt文件 下面的代码中需要设置你读取数据的数组的维度信息，如下 datamat = np.zeros((rows, 6))  #表示6列数据 # -*- coding: cp936 -*- import re import linecache import numpy as np import os filename = 'preprocess1.txt' # 数值文本文件...
python_sitka_weather_07-2014.csv
12-29
标题 "python_sitka_weather_07-2014.csv" 暗示这是一个与Python编程相关的数据文件，特别地，它包含了2014年7月阿拉斯加锡特卡（Sitka）的天气数据。这个文件很可能是一个CSV（逗号分隔值）格式的文件，这是在数据...
python3.6用numpy方法读取csv文件到矩阵中
热门推荐
weixin_42620091的博客
09-23 1万+
import numpy as np def loadCSVfile2(): tmp = np.loadtxt(“C:\Users\Administrator\Desktop\datagnd.csv”, dtype=np.str, delimiter=",") data = tmp[0:].astype(np.int)#加载数据部分 return data #返回array类型的数据 datagn...
python 二维数组长度_使用python进行数据分析 — 描述性统计
weixin_39766014的博客
11-21 767
今天简单为大家介绍Python的两大功能库Numpy和Pandas，并通过代码实践对各类描述性统计指标的计算，巩固前一期所述指标的主要概念。一、Numpy（Numerical Python) NumPy是一个功能强大的Python库，主要用于对多维数组执行计算，其提供了大量的库函数，可应用于矩阵的计算，图像的处理、各类数学任务计算（例如，微积分）等，是一种基于Python的M...
零基础C语言快速入门一：语法结构分析
码之有道
10-24 1028
C语言是很多萌新程序员接触的第一门编程语言，因为还没有养成良好的编程思维，刚入门C语言的时候可能会觉得很难，特别是指针那块！ 今天就以最简单明了的方式带大家零基础入门C语言！ C语言简述： C语言是一门面向过程的、抽象化的通用程序设计语言，广泛应用于底层开发。C语言能以简易的方式编译、处理低级存储器。C语言是仅产生少量的机器语言以及不需要任何运行环境支持便能运行的高效率程序设计语言。尽管C语言提供了许多低级处理的功能，但仍然保持着跨平台的特性，以一个标准规格写出的C语言程序可在包括类似嵌入式处理器以及
Python使用DuckDB数据库
iounce
09-11 3196
Python使用DuckDB数据库
python_sitka_weather_2014.rar
08-19
Python是一种广泛应用于数据分析和可视化领域的编程语言，其简洁明了的语法使得处理各种类型的数据变得简单易行。在这个示例中，我们关注的是如何利用Python读取CSV（Comma Separated Values）格式的数据，以及如何...
csv_file.rar_csv_csv文件_python_python 读写 excel_python处理csv数据
09-23
- 数据筛选：通过布尔索引或`loc`、`iloc`方法，可以快速筛选出满足条件的数据行。 - 数据转换：可以对列进行聚合、计算统计量，如`data['column'].mean()`，或者使用`apply()`函数自定义转换逻辑。 - 数据合并与...
sitka_weather_2018_simple.csv
03-16
某地区2018年简易气温数据集
sitka_weather_07-2014.csv
12-01
`csv.reader()`返回一个迭代器，每一项都是文件中的行，而`csv.DictReader()`将每一行转换为字典，键是列名，值是对应列的值。 ```python with open('sitka_weather_07-2014.csv', 'r') as file: reader = csv....
load_ext是干什么的（autotime,autoreload）
qq_43391414的博客
12-21 2784
比如我们有一个自己写的utils包，在jupyter的开头import了，后来，我们在jupyter中运行之后发现有utils中的某个函数有bug，然后我们纠正了那个函数，重新在jupyter中运行。我觉得可能是因为我们现在的背景是IPython，而不是Python，这两者有一定的差别。这个时候，按照道理，仍然是会报错的，因为jupyter不会帮你自动刷新utils这个包。作用：这个扩展autotime的作用就是，给出每一个单元格运行所花费的时间。注意，上面那一行不要写注释，否则报错，写注释要换一行。
简单易用的DuckDB数据库管理系统
csdn1561168266的博客
07-24 1978
现在有许多原因使公司开始在DuckDB上搭建产品，该数据库专为快速分析查询而设计，因此它针对大型数据集上的聚合、连接和复杂查询进行了优化，这些类型的查询通常在分析和报告中使用。简而言之，DuckDB将SQLite的简单易用性与专业列存储数据库的分析性能相结合，性能、简单性、功能和开源许可这些因素促使DuckDB在开发人员和数据分析师中越来越受欢迎。总之，DuckDB为需要快速和简单的数据分析能力的应用程序提供了易于使用的嵌入式分析数据库，它填补了分析处理领域的一个空白，而完整的数据库服务器则过于复杂。
DuckDB - 一款嵌入式关系型 OLAP 数据库管理系统
weixin_44519342的博客
02-10 2124
DuckDB - 一款嵌入式关系型 OLAP 数据库管理系统
使用SQL来操作DataFrame?我们给pandas找了个新搭子
最新发布
量化风云
01-29 1196
使用sql来操作DataFrame,这是一个令人感兴趣的话题
pandas使用sql语句查询
qq_16082527的博客
12-16 671
使用sql查询pandas的内容，拓展了pandas的功能，使数据查询更加灵活方便。本文介绍使用duckdb与pandas结合使用sql的方法。
查看csv文件编码_DuckDB批量转CSV为Parquet
weixin_39819152的博客
12-09 459
Why DuckDB系列：Why DuckDBPython单机查询1.5亿行数据秒出DuckDB批量转CSV为ParquetDuckDB FDW 来了(敬请期待）昨天文章里提到的AirOnTimeCSV.zip包含了303个csv文件，使用Spark可以方便地将它们转为parquet存储，如果不巧你不熟悉Spark，那也没有关系，试试DuckDB的强大功能。DuckDB支持输出csv和parque...
DuckDB全面挑战SQLite
Rocky006的博客
07-24 3699
如果查看 DuckDB 的网站，在其主页上看到的第一件事就是：DuckDB 是一个进程内 SQL OLAP 数据库管理系统。让我们尝试解读这句话，因为它包含相关信息。• 进程内 SQL 意味着 DuckDB 的功能在应用程序中运行，而不是在应用程序连接的外部进程中运行。换句话说：没有客户端发送指令，也没有服务器读取和处理它们。与 SQLite 的工作方式相同，而 PostgreSQL、MySQL……则不然。• OLAP 代表在线分析处理，微软将其定义为组织大型业务数据库并支持复杂分析的技术。
%load_ext autoreload是什么意思
IAlexanderI的专栏
04-05 1万+
在执行用户代码前，重新装入 软件的扩展和模块。 autoreload 意思是自动重新装入。 它后面可带参数。参数意思你要查你自己的版本帮助文件。一般说： 无参：装入所有模块。 0：不执行 装入命令。 1： 只装入所有 %aimport 要装模块2：装入所有 %aimport 不包含的模块。 ...
1. 读取ele_loss.csv和alarm.csv。
05-10
好的，我假设这两个文件在当前工作目录下，可以使用Python的pandas库来读取csv文件。以下是读取ele_loss.csv和alarm.csv的示例代码： ``` python import pandas as pd # 读取ele_loss.csv ele_loss_df = pd.read_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值