使用SQL语句处理csv数据

最新推荐文章于 2024-05-23 17:52:22 发布
最新推荐文章于 2024-05-23 17:52:22 发布
阅读量2.9k 收藏 4
点赞数 1
分类专栏： 工具 数据 文章标签： notepad++ sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wy_hhxx/article/details/128104103
版权

目录

1. CsvQuery插件安装

2. CsvQuery简单说明

2.1 以表格的形式展示数据

2.2 执行SQL查询语句

2.3 将查询结果保存为新文件

2.4 数据处理

EXCEL打开csv文件日期、文本形式的大数会被自动转换成科学计数，用编辑器打开csv文件可以避免这种情况，但是没有EXCEL的表格形式易于阅读。一些编辑器插件可解决这个问题 ，例如：

NotePad++ 的插件 CsvQuery

1. CsvQuery插件安装

Plugins -> CsvQuery (如果没有，选择Plugins Admin...)

搜索要安装的插件，然后安装

2. CsvQuery简单说明

2.1 以表格的形式展示数据

可以以表格的形式打开csv文件，并指定分隔符

打开一个文件，CsvQuery -> Toggle CSV Query window

一般以逗号分隔，读文件可以指定分隔符、指定第一行是否为标题

2.2 执行SQL查询语句

读文件默认语句 SELECT * FROM THIS，切换文件浏览点击右侧 ReadFile 刷新读取

 

点击列标题可以按列正序、倒序排序

也可以执行其它SQL语句，在查询框中输入语句然后点击右侧 Execute 执行语句

2.3 将查询结果保存为新文件

可以通过创建新的csv替换分隔符；

可以将查询结果保存为新的csv文件

在CSV Query区域右键，选择 Create new CSV...

指定分隔符

然后会在新的标签创建新的文件

 

2.4 数据处理

现在考虑一个系统分为采集、计算、上报几个环境，每个步骤均为多线程。

采集、计算、上报会记录每个周期每个任务的开始和结束时间，通过找到每个周期中最早的任务采集开始时间和最晚的任务结束时间，可以得到每个周期的采集任务总时长；同理，可以得出每个周期计算任务总时长和上报任务总时长；求出每个周期上报任务最晚的结束时间和采集任务最早的开始时间，就可以得到每个周期端到端的总时长。

（1）以采集任务三分钟统计文件为例，时间单位ms

ROP|taskName|taskType|beginTime|endTime|TimeCost
202211291300|A1_01_X|AAA|2022-11-29T13:02:18.080589970|2022-11-29T13:02:18.175409973|95
202211291300|B_Y|BBB|2022-11-29T13:02:19.163168962|2022-11-29T13:02:19.416363723|253
202211291300|S01_X|SSS|2022-11-29T13:02:19.115749209|2022-11-29T13:02:19.423688042|308
202211291300|S01_X|SSS|2022-11-29T13:02:19.105705009|2022-11-29T13:02:19.455668083|350
202211291300|C02_X|CCC|2022-11-29T13:02:19.096654522|2022-11-29T13:02:19.455876528|359
202211291300|D01_X|DDD|2022-11-29T13:02:19.156505467|2022-11-29T13:02:19.481252537|325
202211291300|E_X_01|EEE|2022-11-29T13:02:19.178462737|2022-11-29T13:02:19.574561026|396
202211291300|A1_01_X|AAA|2022-11-29T13:02:19.185465245|2022-11-29T13:02:20.112988507|927
202211291300|F1_5_X01|FFF|2022-11-29T13:02:19.154959630|2022-11-29T13:02:20.176828913|1022
202211291300|A1_01_X|AAA|2022-11-29T13:02:20.153075264|2022-11-29T13:02:20.244616179|91
202211291300|F1_5_X|FFF|2022-11-29T13:02:19.178406279|2022-11-29T13:02:20.253262559|1075
202211291300|A1_02_X|AAA|2022-11-29T13:02:19.134695120|2022-11-29T13:02:20.294381598|1160
202211291300|A1_02_X|AAA|2022-11-29T13:02:21.096833045|2022-11-29T13:02:21.193210667|97
202211291300|A1_02_X|AAA|2022-11-29T13:02:21.197498279|2022-11-29T13:02:21.222431679|25
202211291300|C01_X|CCC|2022-11-29T13:02:22.107281135|2022-11-29T13:02:22.297591093|190
202211291300|D02_X|DDD|2022-11-29T13:02:22.174635657|2022-11-29T13:02:22.399685452|225
202211291301|A1_01_X|AAA|2022-11-29T13:03:18.077610859|2022-11-29T13:03:18.153296340|76
202211291301|S01_X|SSS|2022-11-29T13:03:19.092131589|2022-11-29T13:03:19.201854998|109
202211291301|B_Y|BBB|2022-11-29T13:03:19.397562746|2022-11-29T13:03:19.564471078|167
202211291301|S01_X|SSS|2022-11-29T13:03:19.092241364|2022-11-29T13:03:19.571959100|479
202211291301|E_X_01|EEE|2022-11-29T13:03:19.387991214|2022-11-29T13:03:19.888696985|501
202211291301|D01_X|DDD|2022-11-29T13:03:19.373646090|2022-11-29T13:03:19.934510826|561
202211291301|D02_X|DDD|2022-11-29T13:03:19.332637631|2022-11-29T13:03:19.935258716|603
202211291301|F1_5_X|FFF|2022-11-29T13:03:19.347815301|2022-11-29T13:03:20.606118364|1259
202211291301|F1_5_X01|FFF|2022-11-29T13:03:19.351736174|2022-11-29T13:03:20.628395471|1277
202211291301|A1_02_X|AAA|2022-11-29T13:03:19.356609165|2022-11-29T13:03:20.726106890|1370
202211291301|A1_02_X|AAA|2022-11-29T13:03:21.079486996|2022-11-29T13:03:21.165205265|86
202211291301|A1_02_X|AAA|2022-11-29T13:03:21.170371449|2022-11-29T13:03:21.201199252|31
202211291301|C01_X|CCC|2022-11-29T13:03:22.078229314|2022-11-29T13:03:22.184879813|106
202211291301|C02_X|CCC|2022-11-29T13:03:22.237895028|2022-11-29T13:03:22.337285245|100
202211291301|A1_01_X|AAA|2022-11-29T13:03:22.180763634|2022-11-29T13:03:22.788876818|608
202211291301|A1_01_X|AAA|2022-11-29T13:03:22.793635126|2022-11-29T13:03:22.943617381|150
202211291302|A1_01_X|AAA|2022-11-29T13:04:18.094686569|2022-11-29T13:04:18.155230980|61
202211291302|B_Y|BBB|2022-11-29T13:04:19.107167256|2022-11-29T13:04:19.507106671|400
202211291302|S01_X|SSS|2022-11-29T13:04:19.151995631|2022-11-29T13:04:19.519249983|368
202211291302|S01_X|SSS|2022-11-29T13:04:19.147699283|2022-11-29T13:04:19.523258834|376
202211291302|C02_X|CCC|2022-11-29T13:04:19.088292866|2022-11-29T13:04:19.611661623|523
202211291302|D01_X|DDD|2022-11-29T13:04:19.202207162|2022-11-29T13:04:19.689606897|487
202211291302|F1_5_X|FFF|2022-11-29T13:04:19.185080296|2022-11-29T13:04:20.376610959|1191
202211291302|F1_5_X01|FFF|2022-11-29T13:04:19.088443175|2022-11-29T13:04:20.481511203|1393
202211291302|A1_02_X|AAA|2022-11-29T13:04:19.098590610|2022-11-29T13:04:20.603674023|1505
202211291302|A1_01_X|AAA|2022-11-29T13:04:19.233066201|2022-11-29T13:04:20.760700439|1527
202211291302|A1_01_X|AAA|2022-11-29T13:04:20.771279639|2022-11-29T13:04:20.821185559|50
202211291302|A1_02_X|AAA|2022-11-29T13:04:21.079337796|2022-11-29T13:04:21.193282303|114
202211291302|A1_02_X|AAA|2022-11-29T13:04:21.199200417|2022-11-29T13:04:21.240825008|41
202211291302|C01_X|CCC|2022-11-29T13:04:22.095528016|2022-11-29T13:04:22.341042711|246
202211291302|D02_X|DDD|2022-11-29T13:04:22.189471553|2022-11-29T13:04:22.503535188|314
202211291302|E_X_01|EEE|2022-11-29T13:04:22.201339281|2022-11-29T13:04:22.514851204|313

首先读取文件，点击ReadFile

注：使用SQLite的语法，Plugins -> About

执行 SELECT ROP,MIN(beginTime), MAX(endTime),strftime('%f',MAX(endTime))-strftime('%f',MIN(beginTime)) AS totalCollectTimeCost FROM THIS GROUP BY ROP

按周期（每分钟）即ROP字段分组，MAX(endTime) 找出任务最晚完成时间，MIN(beginTime) 找出任务最早开始时间，二者的差（totalCollectTimeCost ）即每分钟执行全部任务花费的总时长

（2）将每周期采集统计结果的MIN(beginTime) 记为collectBeginTime, 每周期上报统计结果的MAX(endTime) 记为 repEndTime，其差值即每周期全部任务的端到端处理时长

执行 SELECT ROP,collectBeginTime,repEndTime,strftime('%f',repEndTime)-strftime('%f',collectBeginTime) AS totalE2ETimeCost FROM THIS GROUP BY ROP 

wy_hhxx
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实现使用SQL语句直接高效地访问文本文件
03-03
万能数据库查询分析器集哈希技术、链表等多种数据结构于一体，使用先进系统开发技术，经历4年的研究、开发、测试周期后在2006年面世。之后7年来一直在进行不断地完善、升级，到目前为止，最新版本为5.04。“万能...
Oracle SQLPlus导出数据到csv文件的方法
01-21
时不时地我们需要导出一些数据用作备份、查看报表等，如果用Sql Developer导出会非常慢。而用SqlPlus，则速度非常快。 准备SQL执行文件export.sql： set colsep , set feedback off set heading off set newp none ...
SQL第五周学习笔记---csv数据、python对csv数据操作、sql对csv文件操作
08-08 1104
作者：高源 本笔记为coursera网站课程《Databases and SQL for Data Science with Python》的学习笔记 在本模块中，您将学习一些基本的SQL语句，并在实时数据库上动手实践它们。 对一些.csv数据进行操作，完成一个操作实例。 文章目录.csv数据python对.csv数据进行操作一、将数据写入csv文件中二、从csv文件中读取数据通过SQL对csv文件操作1.创建测试表:m_test2.aa.csv3.读取aa.csv到m_test表 .csv数据 逗号分隔.
CSV文件转换SQL文件
相见恨晚
08-23 1214
用java代码随手写个csv文件转sql文件的方法
小白也能看懂得，如何把csv文件写入SQL中
最新发布
weixin_67655951的博客
05-23 333
本篇文章我使用了pycharm，首先你要先下载pymysql库，然后改一下自己的sql信息，如名字、密码等，还有需要传入的csv地址
用SQL语句导入csv文件
11-29 3033
用SQL语句导入csv文件: LOAD DATA INFILE 'file_name.csv' IGNORE #注意, 这里的IGNORE是关键, 不导入重复的行     INTO TABLE tbl_name     FIELDS         TERMINATED BY ',' #用逗号分割字段         OPTIONALLY ENCLOSED BY '"' #根据csv
SQL导出csv数据，不限大小条数
God__is__a__girl的博客
02-10 1279
SQL导出csv数据，不限大小条数
SQL注入之文件读写
永远是少年
06-27 2206
今天继续给大家介绍渗透测试相关知识，本文主要内容是SQL注入之文件读写。 一、SQL注入文件读写函数 二、SQL注入文件读写之secure_file_priv参数 三、SQL注入文件路径获取 四、SQL注入文件读写之魔术引导开关......
读取本地文件批处理存放在mysql中
tanxinji的博客
07-12 230
 为什么要用批处理：如果为了每插一条数据，就用jdbc对数据库进行连接，执行sql脚本，关闭，这样效率非常低。  解决: 首先将默认的自动提交关闭，PreparedStatement对象 每写入一条sql使用 addBatch()方法缓存，等存到了一定量的时候，再调用 executeBatch()进行批量处理sql。每一次执行完executeBatch()的时候，需要调用 cleanBatch() 清除缓存  将本地文件读取到一个List中  数据库建立连接，插入，关闭...
如何将数据从CSV和XML导入MS SQL Server
04-08
例如，使用C#编写一个程序，可以读取CSV文件并执行SQL语句来导入数据： ```csharp using System; using System.Data.SqlClient; using System.IO; public class Program { static void Main() { string ...
csvquery：方便SQL运行程序，用于处理CSV文件
01-28
`csvquery`的核心是将CSV文件视为数据库表，通过构建一个临时的数据模型，允许用户使用SQL语句进行各种操作。它支持基本的SELECT、FROM、WHERE等SQL语句，以及JOIN、GROUP BY、HAVING等高级查询功能。此外，`...
SparkSQL 使用SQLContext读取csv文件 分析数据 （含部分数据）
08-13
NULL 博文链接：https://humingminghz.iteye.com/blog/2309413
csv-sql：使用SQL查询CSV文件
02-08
CSV SQL 取一个CSV文件，用SQL查询它。 魔法！ $ cargo run file.csv Loaded 3162 rows into t(domain, base_domain, agency, sslv2) > SELECT COUNT( * ) FROM t +----------+ | 3162 | +----------+ 您所有的行都进入名为t的表中。 这很棒！ 您还可以指定多个文件： $ cargo run file1.csv file2.csv Loaded 12 rows into t1(some, schema) Loaded 74 rows into t2(some, other, schema) > 如果要将查询结果导出到CSV文件，请执行以下操作： $ cargo run file.csv Loaded 3162 rows into
任意关系数据库sql查询转换成CSV文本文件
06-06
将任意关系型数据库SQL查询或表导出为CSV（逗号分隔符文件）文件，如果想支持不同的数据库，可以将不同的jdbc的jar放到lib文件夹中，按照README文件指引配置好后，运行start.bat即可按照配置批量抽取数据库中的数据保存到本地，字符集为UTF-8，纯JAVA开发，只要合理配置字符集导出文本无乱码问题，也解决了字段中有双引号或特殊字符的问题。
Python-csvsql用SQL查询你的CSV文件
08-11
csv-sql：用SQL查询你的CSV文件
sql server下如何读取文件
10-08
sql server 下如何读写文件，在sql server下可以读写服务器文件
生成SQL语句工具
06-02
在实际应用中，使用“生成SQL语句工具”不仅可以提高开发效率，还能确保SQL语句的准确性和可维护性。对于大型项目或团队协作，这类工具尤其重要，因为它们能保证所有团队成员遵循一致的编码规范和最佳实践。 总的来...
SparkSQL读取本地文件写入MySQL
NBA首席形象大使坤坤
03-18 1309
unit1：LoggerLevel 思路在main代码中，读取的文件要注意格式。 package com.units import org.apache.log4j.{Level, Logger} trait LoggerLevel { Logger.getLogger("org").setLevel(Level.ERROR) } unit2：getLocalSparkSession package com.units import org.apache.spark.sql.SparkSessi
python使用sql语言处理csv文件
05-30
4. 使用SQL语句查询数据。 ```python import sqlite3 conn = sqlite3.connect('mydb.db') c = conn.cursor() c.execute("SELECT * FROM mytable") rows = c.fetchall() for row in rows: print(row) conn....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值