使用SQLFlow从数据库中拉取数据分析

最新推荐文章于 2022-11-12 21:24:13 发布
最新推荐文章于 2022-11-12 21:24:13 发布
阅读量859 收藏 1
点赞数
分类专栏： SQLFlow 文章标签： 数据库 sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28822933/article/details/117700674
版权

SQLFlow还支持从指定数据库中拉取表，视图，存储过程进行分析，获取data lineage。

目前SQLFlow支持的数据库有：

azure,greenplum,mysql,sqlserver,oracle,snowflake,netezza,postgresql,redshift,teradata

连接数据库

在这里插入图片描述

对数据库数据进行筛选

在这里插入图片描述
参数的含义见官方文档： Grabit

查看连接信息

连接成功后可以查看输入的连接信息：
在这里插入图片描述

结果

在这里插入图片描述

总结

SQLFlow是一款很强大的SQL脚本沿袭关系分析工具，除了分析指定SQL脚本文件的功能外，还有可以连接指定数据库获取数据分析沿袭关系。

附上SQLFlow的地址：SQLFlow

与衫
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【SQLFlow】发现了一款很好用的分析SQL脚本数据流关系的工具SQLFlow
m0_54252387的博客
07-20 1121
SQLFlow是一款专门分析SQL脚本数据流关系的工具，可通过在受控数据环境中（就是指定数据库的连接参数，连接到数据库，分析特定数据库的SQL，目前支持大部分主流数据库）分析SQL脚本来收集数据沿袭信息（数据流）。...
【SQLFlow】使用SQLFlow从数据库中拉取数据分析
m0_54252387的博客
07-20 305
SQLFlow是一款很强大的SQL脚本沿袭关系分析工具，除了分析指定SQL脚本文件的功能外，还有可以连接指定数据库获取数据分析沿袭关系。SQLFlowhttpshttpshttpshttps。
从数据库获取数据
weixin_30417487的博客
12-28 649
//从数据库获取数据 public static DataTable GetData0() { SqlConnection sqlcon = new SqlConnection(); sqlcon.ConnectionString = "Catalog=JinKeLi;Data Source=(local);uid=sa...
精通 SQL 编程，你却只用来拉数据
wujiandao的专栏
10-02 241
以上故事纯属虚构。 但是呢，却经常在朋友中听到类似的谈话。学习，发展，职业前景已经成为热门话题了。 每个年龄段的人，都有自己的一些焦虑和思考。就拿我们SQL人来说，以上的对话肯定常听。但拿出对策的很少，拿出正确的对策，又正确执行的更少。 比如对于我们这样...
SQLFlow分析mysql语句
学习之余随便记记
05-29 719
使用SQLFlow分析一段mysql的SQL脚本，得其中的表以及字段间的数据血缘关系data lineage。 分析的SQL： CREATE TABLE tmp.tmp_a_supp_achievement_an_mom_001 AS SELECT a1.dim_day_txdate, a.a_pin, Sum(Coalesce(b.amount, 0)) AS total_amount , Sum(Coalesce(c.refund_amt, 0)
在linux中拉取数据库的数据
gtfccit的专栏
02-08 1375
su - -c "sqlplus \"${DB_USERNAME}/${WFM_DB_PASSWORD}@//${WFM_DB1_VIP}:${WFM_DB_PORT}/${WFM_DB_INSTANCE_NAME}\" \"@${program_dir}/CollectionLog.sql\"" oracle     spool on set echo off; set heading
SQL Server拉伸数据库–将“冷”数据移动到云
culuo4781的博客
07-23 262
Tons of new and exciting features have been introduced with the release of the latest SQL Server 2016. It simply is faster, better and more reliable! ???? As with the last several releases, there are...
使用VSCode如何从github拉取项目的实现
10-14
主要介绍了使用VSCode如何从github拉取项目的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
python从数据库中拉数据做报表发邮件
09-13
一个完整的azkaban的调度示例，从mysql中表中拉取数据，组装成html，然后以邮件的方式发出来，只要对应修改里面的邮件、表、数据库配置就可以了，时间紧，没有全部写成配置的形式，但愿不用太多的学习成本
IDEA中使用Git拉取代码时报 Git pull failed原因及解决方法
10-14
2. **使用Stash功能**：如果你不想提交所有更改，或者当前的更改与即将拉取的代码无关，你可以使用Git的Stash功能。通过右键项目 -> “Git” -> “Repository” -> “Stash Changes”，创建一个新的存储（Stash）。...
Python-SQLFlow将SQL数据库和TensorFlow相结合
08-11
SQLFlow是将TensorFlow和其他机器学习工具包与SQL引擎的连接桥梁，例如 MySQL，Hive，SparkSQL或SQL Server。 SQLFlow扩展了SQL语言，以支持模型训练，预测和推理。
基于JavaWeb数据分析的关键词分析系统源码+项目使用说明.zip
最新发布
08-22
4. 从数据中**检索** 5. 点击**编辑**本条记录 6. 点击**启用**分析本条数据 7. 点击删除本条数据 8. 表示本条数据已**被禁用** **注**：**3165**个关心的公司已初始化到数据库 二、上传需分析的pdf文档 1. 点击*...
4r:使用 R 进行拉取请求分析
06-19
从 GitHub 存储库探索拉取请求数据，并尝试使用 R 获得一些见解。 我在思考的一些问题： 我的周期时间是多少？ - 将 pull request 合并到 master 需要多长时间（start_date 是第一次提交的日期） 每个贡献者的...
如何用sql拉取累计数
weixin_34405332的博客
11-13 284
select a.time as 年月,sum(b.num) as 累计注册数 from ( select DATE_FORMAT(addTime,'%Y年%m月') as time ,count(1) as num from user u where addtime > '2017-01-01' group by DATE_FORMAT(addTime,'%Y年%m月')) a jo...
python爬虫源代码_零基础自学爬虫（5）B站有哪些爬虫的视频学习资源-附Python源代码...
weixin_39951295的博客
12-01 83
前几天看到有人提问：。b站哪个python爬虫视频讲的较好？谢谢各位能解答一下。？ 于是顺手写了一个小爬虫，把数据爬了下来。 今天有空放一下源代码。数据源，是在B站搜索框直接搜索“爬虫”，并选择按收藏排序。总结果大概50页，然后爬取该数据。第一步：启动 chromedriver，无头模式。from time import sleep from datetime import datetime fr...
【SQLFlow】数据治理中Oracle SQL和存储过程的数据血缘分析
m0_54252387的博客
07-22 884
中的一个重要基础工作是分析组织中数据的血缘关系。有了完整的数据血缘关系，我们可以用它进行数据溯源、表和字段变更的影响分析、数据合规性的证明、数据质量的检查等。分析数据血缘的方法主要分为四类自动解析主要是利用工具解析SQL语句、和ETL等文件。本文以Oracle为例，来说明如何分析SQL和存储过程中的数据血缘。......
根据系统进程pid获取sql【脚本收藏】
weixin_33896726的博客
09-18 142
数据库进程占用CPU大的问题，一直普遍存在，通过下面的方法可以进行可以在操作系统层面获取进程pid，然后抓出在数据库中的sql语句： select /*ordered*/ sql_text from v$sqltext a where (a.hash_value,a.address) in (select decode (sql_hash_value,0,prev_has...
sqlflow简介，在线版：使用sqlflow，本地版：在windows上安装sqlflow
qq_37432174的博客
11-12 3135
SQLFlow是一款专门分析SQL脚本数据流关系的工具，目前支持大部分主流数据库；SQLFlow就是通过分析各种数据库对象的DDL、DML 语句，ETL/ELT中使用的存储过程、 触发器和其他 SQL 脚本，给出完整的数据血缘关系，就是数据流关系。目前有本地版和在线版。目前无论是什么版本都需要收费！！！
第一次使用马哈鱼血缘分析工具（SQLFlow）
学习之余随便记记
08-24 9423
马哈鱼数据血缘分析工具（英文名称为 Gudu SQLFlow ）是一款用于分析 SQL 语句，并发现其中数据血缘关系的分析软件，经常和元数据管理工具一起使用，是企业数据治理的基础工具。如果你对 SQL 语言不熟悉，那么本文可能不适合你阅读。阅读本文无需事先有数据血缘相关的知识，只要把数据血缘关系简单的理解为数据库中两个或多个表之间的数据依赖关系即可。我们通过分析下面的 SQL 语句，来看看如何梳理出各个表/视图间的数据依赖关系。通过分析以上 INSERT SQL 语句，我们可以知道。
怎么通过python连接数据库，拉取数据库内数据
04-04
要通过Python连接数据库，需要使用相应的数据库驱动程序。以下是连接常见数据库的基本示例： 1. MySQL 使用Python的MySQL驱动程序 `mysql-connector-python` 来连接MySQL数据库。首先需要安装驱动程序，可以使用 `pip` 命令安装： ``` pip install mysql-connector-python ``` 连接MySQL数据库的示例代码如下： ```python import mysql.connector # 连接数据库 cnx = mysql.connector.connect(user='root', password='password', host='localhost', database='mydatabase') # 查询数据 cursor = cnx.cursor() query = ("SELECT id, name, age FROM mytable") cursor.execute(query) # 处理数据 for (id, name, age) in cursor: print("{} - {} - {}".format(id, name, age)) # 关闭连接 cursor.close() cnx.close() ``` 2. SQLite 使用Python的SQLite驱动程序 `sqlite3` 来连接SQLite数据库，这个驱动程序是Python标准库的一部分，不需要额外安装。连接SQLite数据库的示例代码如下： ```python import sqlite3 # 连接数据库 conn = sqlite3.connect('example.db') # 查询数据 cursor = conn.cursor() query = ("SELECT id, name, age FROM mytable") cursor.execute(query) # 处理数据 for (id, name, age) in cursor: print("{} - {} - {}".format(id, name, age)) # 关闭连接 cursor.close() conn.close() ``` 3. PostgreSQL 使用Python的PostgreSQL驱动程序 `psycopg2` 来连接PostgreSQL数据库。首先需要安装驱动程序，可以使用 `pip` 命令安装： ``` pip install psycopg2 ``` 连接PostgreSQL数据库的示例代码如下： ```python import psycopg2 # 连接数据库 conn = psycopg2.connect(database="mydatabase", user="myusername", password="mypassword", host="localhost", port="5432") # 查询数据 cursor = conn.cursor() query = ("SELECT id, name, age FROM mytable") cursor.execute(query) # 处理数据 for (id, name, age) in cursor: print("{} - {} - {}".format(id, name, age)) # 关闭连接 cursor.close() conn.close() ``` 以上示例代码只是演示如何连接数据库和查询数据，实际的查询语句和操作方式需要根据具体的数据库和表结构进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值