大数据开发
文章平均质量分 58
Redash中文社区
现代数据栈MDS中文社区
展开
-
DBT是什么
仅使用 SQL 语句或 Python 数据帧编写业务逻辑,返回所需的数据集,dbt 负责select物化.构建可重用或模块化的数据模型,这些数据模型可以在后续工作中引用,而不是从每次分析的原始数据开始。DBT 针对您的数据平台编译并运行您的分析代码,使您和您的团队能够在指标、见解和业务定义的单一事实来源上进行协作。作为 dbt 用户,您的主要关注点将是编写反映核心业务逻辑的模型(即选择查询)——无需编写样板代码来创建表和视图,也无需定义模型的执行顺序。通常,数据源中的记录是可变的,因为它们会随时间而变化。原创 2023-03-14 11:09:34 · 1441 阅读 · 1 评论 -
现代数据堆栈MDS有什么现代之处
现代数据堆栈(MDS)已经普及了几年,但直到最近才在其定义上趋同。在我们深入探讨MDS的哲学和技术指标之前,让我们先谈谈传统数据堆栈的失败。原因很简单,传统数据堆栈 (TDS) 无法满足任何现代组织的数据需求。为了保持竞争优势,组织需要能够在正确的时间采取行动的数据,并且足够灵活地适应变化。TDS通常是指逻辑耦合且复杂的本地Hadoop(生态系统)和SQL仓库。在我们深入研究什么是现代数据堆栈(MDS)之前,让我们首先看一下仍在使用 TDS 的组织面临的一些问题。原创 2023-03-13 14:26:26 · 253 阅读 · 0 评论 -
Metabase和Tableau、QlikView差异
Metabase 是一个强大而且成本效益高的商业智能工具,具有易于使用、灵活、支持多个数据源、自定义报告和仪表盘、多级问题、自定义问题、共享数据集和仪表盘、数据驱动的提醒和电子邮件通知等功能。然而,对于处理更大量级和更复杂的数据集以及进行更准确的数据预测和分析,Tableau 和 QlikView 可能更加适合。除了基本的数据查询和可视化功能,Metabase 还提供了一些高级功能,例如多级问题、自定义问题、共享数据集和仪表盘、数据驱动的提醒和电子邮件通知等。原创 2023-03-06 15:04:45 · 118 阅读 · 0 评论 -
配置Airbyte资源限制
如果您连接(管道)的url是。如果 job 容器的内存不足,只需登录到 Airbyte Web 中的 job 页面,检查日志查看 job 的资源配置是否符合预期,如果确实给的资源不足,可以根据上面的步骤修改资源限制配置。连接到 Airbyte 工作数据库并且执行以下 query(注意需要将 id-from-step-1 替换您上一步获取的连接(管道)id,并将资源限制修改给您想要限制的值)替换 id-from-step-1 为上一步查询中获取到id,然后替换资源限制的值为想要限制的值,然后执行query。原创 2023-03-03 15:19:22 · 548 阅读 · 0 评论 -
配置 AIRBYTE 工作数据库
此外,使用云托管的Postgres实例(如AWS的RDS,GCP的Cloud SQL),您将得到更细粒度的备份和实例大小调整。#外部数据库的用户名 DATABASE_USER=postgres #外部数据库的密码 DATABASE_PASSWORD=password #外部数据库的 ip 或者域名 DATABASE_HOST=host.docker.internal #外部数据库的端口 DATABASE_PORT=3000 #外部数据库的 db 名称 DATABASE_DB=postgres。原创 2023-03-02 13:06:50 · 646 阅读 · 0 评论 -
Docker部署Airbyte
Docker环境下安装Airbyte。原创 2023-02-28 12:49:13 · 782 阅读 · 0 评论 -
Airbyte API
Destination_definition:目标定义,实现了目标的增删改查功能。Source_definition:来源定义,实现了来源的增删改查功能。Workspace:工作区管理,实现了工作区的创建、删除等功能。Connection:管道管理,实现了管道的创建、删除等功能。Destination:目标管理,实现了来源连接建立等功能。Source:来源管理,实现了来源连接建立等功能。Oauth:权限管理,实现来源目标的授权管理。State:状态管理,获取和更新管道运行状态。Logs:日志管理。原创 2023-02-27 13:19:45 · 429 阅读 · 0 评论 -
Airbyte的同步复制模式
ELT 哲学的核心原则,即数据在提取和加载阶段移动时应保持不变,以便始终可以在目标中访问原始数据。由于目标中存在数据的未修改版本,因此将来可以重新转换该版本,而无需从源系统重新同步数据。原创 2023-02-24 13:49:23 · 415 阅读 · 0 评论 -
Airbyte架构
Airbyte应用架构原创 2023-02-23 13:54:01 · 497 阅读 · 0 评论 -
Airbyte入门
使用专用实例将为您的 Airbyte 部署提供更高的可靠性。此外,使用云托管的 Postgres 实例(例如 AWS RDS 我们的 GCP 云 SQL),您将受益于自动备份和细粒度大小调整。您可以从一个非常小的实例开始,但根据您的 Airbyte 使用情况,如果不截断作业历史记录,作业数据库可能会增长并需要更多存储空间。系统将要求您输入用户名和密码,默认用户名和密码是 airbyte 和password,部署到服务器后,请注意,源(或目标)连接器中的实际数据永远不会传输或保留在此内部数据库中。原创 2023-02-22 16:19:54 · 495 阅读 · 0 评论 -
开源软件AirByte:入湖入仓,数据集成管道
在这之后,企业就需要进行 ETL 操作了,由于多数数仓仅接受 SQL 的关系数据结构,因此,企业需要将不符合要求的数据转换为基于 SQL 的数据。我们不难发现 ETL 的问题,主要是流程长和笨重。也正是因为这些数据资源的增长,推动了企业的数字化进程,他们需要更灵活和敏捷的方式来处理数据,显然,传统的 ETL 并不能满足这些需求。Airbyte看似功能单一,但正如很多流行的开源软件一样,Airbyte强大的地方是:它定义了一个被广泛接受的标准,并形成了一个庞大的“连接器”(Connectors)生态。原创 2023-02-20 13:56:56 · 944 阅读 · 0 评论 -
Dazdata BI之Excel魔幻集成
Dazdata BI作为数据处理软件,有四种Excel集成方式:1、Excel作为数据源Dazdata BI支持多sheet的Excel文件作为数据源,每个sheet作为一个独立数据表一样使用,这样一个完备的数据大屏所有数据可以全部来源于同一个Excel文件。形如下列方式获取指定指定sheet:url: default/1_26_template.xlssheet_name: sheet12、查询数据输出为Excel文件Dazdata BI支持任意查询数据结果集合输出为Excel原创 2022-03-25 09:36:41 · 335 阅读 · 0 评论 -
Dazdata BI加载百度在线地图并标注
Dazdata BI除了内置了全国瓦片地图,支持自定义园区瓦片地图等功能外,还支持加载百度在线地图,并方便的进行标注。下面以全国空气污染前十城市标注为例,看如何实现:首先要去百度地图开放平台,注册获取ak,形式如1CEC****cKs3的一个32位字符串。在Dazdata BI创建ECharts自定义代码视图,输入如下代码:var myChart = echarts.init(chartDom);var option;function main() { c...原创 2022-03-17 15:05:18 · 300 阅读 · 0 评论 -
Dazdata BI之List视图用于高级筛选
1、多选筛选应用场景:对于列表数据,Dazdata BI提供了List视图来实现数据的单选和多选操作。支持下拉、开关、按钮、勾选等多种操作样式,支持横排和竖排。单选和多选操作都支持把选择结果作为参数传递。2、筛选联动经常有复杂的过滤筛选需求如:第一个筛选条件的结果作为第二个筛选条件的参数,比如省/地联动筛选,如下:Dazdata BI通过List视图筛选操作和刷新指定部件技术,无需编程就实现了复杂的过滤筛选,并可结合常规的文本、日期筛选等,能完成所有数据筛选需..转载 2022-03-10 11:43:37 · 158 阅读 · 0 评论 -
Dazdata BI在车间物料看板上的应用
生产车间对于有保质期管理的物料,在满足生产批次数量要求的情况下,希望能够先进先出,减少超期报废的问题,是很多生管面临的管理问题原创 2022-03-03 15:28:52 · 285 阅读 · 0 评论 -
Redash中文版:首款低代码平台型BI
随着应用软件复杂度越来越高,传统通过属性配置界面调整软件的方法缺陷越来越明显,属性越来越多,属性难以表达逻辑等问题导致应用软件难以配置和使用;而适量代码性配置对于解决属性过多、表达晦暗不明等方面优势明显;同时随着初级计算机人才的大量普及也为低代码平台提供可能;这也是近年来低代码平台异军突起,越来越受欢迎的原因。Redash中文商业版在设计之初就把低代码作为最重要的特征,在属性配置的基础上,为达到功能最大化,所有视图都提供代码配置的能力。目前流行的BI软...原创 2021-09-17 16:18:17 · 336 阅读 · 0 评论 -
Redash可视化数据地图
redash中文版中支持地图样式非常丰富,包括各级二维地图和3D地图等多种地图样式,下面介绍常见的添加地图图表方法。1.Redash内置地图内置地图可以直接选择使用,可以修改颜色等参数,支持世界地图、动态选择中国地理图,以及各省级地图、美国地图和日本地图等。2.自定义json地图将包含地图数据的json文件上传到指定目录,就可以直接选择使用,并且支持通过url参数p_adcode参数值形式动态选择地图文件3.使用echart地图图表世界地图,图例来源:https://ww原创 2021-07-22 17:27:46 · 616 阅读 · 0 评论 -
如何选择可视化数据大屏软件?
适时数据大屏作为可视化管理的利器,受到越来越多的窗口行业、企业目视管理等领域的高度重视。1.数据大屏前端工具库一个好看的大屏离不开负责呈现的前端工具库,目前主要有两类的前端工具库,ECharts以其丰富多彩的绚丽外观、简单易上手征服了绝大部分国内用户;在国外和科学计算图表领域,老牌的Plotly以其渲染速度快,图表细腻更受欢迎。前端工具库不是一个最终用户使用的系统软件,主要是为软件公司选择使用开发BI类软件。EChartsECharts是一个基于JavaScript的开源可视...原创 2021-06-04 08:40:46 · 486 阅读 · 0 评论 -
数据可视化大屏高大上?有了这款工具你也能制作
数据本身是冰冷的数字,只有通过合适的可视化工具来进行数据的展示表达,才能直观的展现数据价值,实现“用数据说话”。数据大屏就是一种非常有效的数据可视化工具,它可以将业务的关键指标以可视化的方式展示到一块或多块LED大屏上,不仅可以让业务人员快速、直接地从繁杂的业务数据中找到重要数据,还可以对决策人员起到辅助作用。如今,数据大屏已成为应急处理、指挥调度、战略决策等场景下必不可少的一部分。下面我们就结合大屏开发的实际流程,来与大家分享一款非常适合进行大屏开发的可视化工具——Redash中文版,内置多种大屏视图原创 2021-05-20 14:56:53 · 757 阅读 · 0 评论 -
Redash商业版和开源版对比之四分享
开源版本的分享报表没有自动刷新功能,被分享者只能通过重新获取分享报表来获取更新数据,非常繁琐,商业版则增加分享报表自动刷新功能,只需在url栏中增加 &refresh=刷新频率,分享后的报表即可自动定时刷新,频率最快为每5秒。开源版不支持带文本参数的报表分享,当报表含有文本参数时,共享界面会提示不能共享,无法生成网址链接,同时分享出来的报表不支持数据的导出。商业版可以支持任意类型参数的报表分享,共享更便捷。同时商业版支持共享报表是否需要密码,是否能够能够另存数据等功能,共享报表的权限原创 2021-04-22 13:11:35 · 316 阅读 · 0 评论 -
Redash商业版和开源版对比之三容器
Redash商业版增加容器报表功能,极大地丰富了报表内容和形式。容器报表使用方式是,在报表编辑界面我们可以添加容器报表,容器报表只能选择已发布的报表才能完成添加,添加完成后则该容器是否已发布不影响使用。基本设置中可以设置容器的标题,内部部件的间距,部件圆角弧度等,可以隐藏报表的筛选区或部件的另存菜单。同时容器支持多报表功能,最多可以添加6张报表进行切换。容器设置容器报表使用常见用途是,报表中可能有一组或者多组视图属于同一系列,为了更好的划分报表内容的区域和栏目,我们可以使用容器报表。容器原创 2021-04-15 11:25:23 · 182 阅读 · 0 评论 -
Redash中文版钻取功能进阶
为便于多维数据分析,redash中文版提供了钻取功能,通过单击仪表板中某个区域或字段时,改变维度和层次,从而变换分析的粒度。上钻是沿着数据的维度结构向上聚合数据,在更大的粒度上查看数据的统计信息,而下钻是沿着数据的维度向下,在更小的粒度上查看更详细的数据。本文为您介绍操作方法。钻取功能应用场景例如当前的粒度是月份,按照年份查看数据是上钻,而按照日期来查看数据是下钻,日期的数据是详细的数据,而每天的数据是高度聚合的数据。通过内容弹窗+多视图,配合参数设置可以实现各种图表的多级钻取功能。.原创 2021-02-25 10:18:33 · 456 阅读 · 0 评论 -
只要三步!轻松让你的图表动起来
Redash商业版自定义代码视图模式可以绘制plotly.js图表,使用Plotly更加倾向于制作可以交互的图像,图表的每个方面,例如颜色,网格线和图例都可以自定义配置,完全实现了图表的灵活性,可以根据自行的设置来进行图表的显示,我们还可以配合取数函数的使用来进行视图的制作,使得图标的种类更加的多种多样。下面演示如何利用plotly.js制作动画图表。1、打开redash网站,新建视图在查询中新建视图,图表类型选择自定义样式。(没有安装redash的,可以到redash中文版网站http://www原创 2021-01-26 16:27:28 · 621 阅读 · 0 评论 -
专业之选—汇川技术钟情Redash
日前,工业互联网领先企业汇川技术股份有限公司(股票代码:300124)因其创新型的企业特征和物联网数据的复杂性,经过多方位的对比,汇川技术最终选定Redash。汇川技术所在的工业互联网应用需要的“海量数据快速呈现”、“数据秒级刷新”、“可视化视图嵌入式应用”、“数据视图互动交互模式”、“PC、工控机、大屏、手机的全屏应用方式”等特征与Redash设计理念完全契合。Redash的“全plotly可视化视图”,“全markdown特征”和“全数据源”支持的专业数据可视化能力获得汇川的青睐。Red原创 2021-01-18 11:15:48 · 265 阅读 · 0 评论 -
Redash中文版共享报表URL样式设置
共享的报表分享之后默认为亮白模式,可以通过修改样式参数对分享的报表进行样式修改,此参数是根据URL参数进行控制样式。URL参数详情如下:参数名称 参数描述 默认值 show_portal 共享视图URL样式设置权限参数 默认为flase,需要对样式进行设置则需将值设为true colorstyle_mode 设置样式的形式,共四种模式 “light”亮白模式(默认)“deep”深蓝模式“dark”暗黑模式“custom”自定义模式 colorstyle_b原创 2020-12-25 16:12:44 · 351 阅读 · 1 评论 -
企业如何选择数据可视化工具?
可视化分析决策系统广泛用于智慧公安、智慧城市、智慧园区、智慧航空、智慧交通、医疗系统等。数据可视化的趋势对这些行业来说起到极其重要的作用。应该使用哪种可视化方式呈现数据,提升决策才是关键。1.直观处理数据,助力决策数据可视化涵盖的内容很多,比较普遍的就是自动化的监控看板,但是更多的优势在于不需要每天都汇总数据进行分析。一次开发,自动执行命令生成新图表。将数据分析师从中解放出来,更多去思考数据驱动业务发展,而不是困在取数的阶段。数据分析的最终意义是推动决策,那么如何理解数据才是数据可视化的核心。原创 2020-12-17 11:26:47 · 215 阅读 · 0 评论 -
Redash中文版生产环境配置supervisor
1 Supervisor介绍Supervisor是用Python开发的一套通用的进程管理程序,能将一个普通的命令行进程变为后台daemon,并监控进程状态,异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动,这样只要在supervisor的配置文件中,把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候,父进程可以准确获取子进程挂掉的信息的,可以选择是否自己启动和报警。2 supervisor安装1) 、配置好yum源后原创 2020-12-15 13:41:00 · 327 阅读 · 0 评论 -
plotly在Redash中文商业版中的应用
Plotly,一个用于做分析和可视化的在线平台,不仅与多个主流绘图软件的对接,而且还可以像Excel那样实现交互式制图,而且图表种类齐全,支持20种基本图表;12种统计和海运方式图;21种科学图表;:8种地图;19种3D图表等等,被誉为“功能最为强大的可视化神器”。Redash中文商业版集成Plotly.js功能,可以自定义绘制任何想要的图表,不再被模板固定,拥有高自由度,几乎可以实现任何平面的设计需求,能最大限度地展现出用户想象力,自由定制个性化图表。plotly.js的三大主要属性data、la原创 2020-12-08 09:01:56 · 282 阅读 · 0 评论 -
Redash中文版配置uwsgi服务
1、安装pip install uwsgi2、配置(1)uwsgi执行一般有两种方式:命令行和文件配置,但是命令行可能需要识记很多参数,因此采用文件配置是更通用的做法,文件格式支持很多种比如ini、xml、yaml等,笔者建议还是采用比较简单key-value形式ini模式,下面给出一个简单的uwsgiini配置实例:[uwsgi]http=:5000chdir=/root/redash/wsgi-file=redash/wsgi.pycallable=appmaster=truevi原创 2020-12-02 09:05:12 · 185 阅读 · 1 评论 -
Redash中文版制作钻取报表
一、钻取实现方式1、视图支持内容点击:目前地图支持区域点击(和弹出信息模板功能互斥)、Chart图表单元点击、Table视图行点击、自定义代码类型点击。视图内容点击事件传出参数和值:地图是固化的传出adcode参数和点击区域的adcode值,因此无需设置。Chart视图:1)默认会取x轴取数列字段名作为参数名,点击单元x值作为参数值返回;2)如果设置了点击取数列,会取该列字段名作为参数名,点击单元该列值作为参数值返回;3)如果设置了参数名,会取该名作为参数名;Table视图:1)必须设原创 2020-11-20 09:32:59 · 535 阅读 · 0 评论 -
Docker部署安装Redash中文版
1安装说明相比Linux环境本地安装而言,Docker安装方式更为简便,Docker脚本化安装过程会自动获取Redis、postgres、Python3.7镜像,构造Redash最新的后台server、worker、schedule镜像。前端npm依赖包安装和前端最新代码打包是通过卷映射方式挂载到server容器,因此这些工作需要人工一次执行;另外构建初始数据库表结构也需要人工一次执行。这些动作执行完毕,启动Docker容器就可以访问了。由于安装过程需要访问国外服务器,极难一次安装成功,需要反复试验几次。原创 2020-11-18 08:41:53 · 1109 阅读 · 3 评论 -
Redash中文版使用介绍
Redash中文版使用介绍https://www.bilibili.com/video/BV11r4y1w7we/初次使用以及数据源插件的配置,如何新建查询并生成报表Redash商业版支持Excel、CSV、Json格式数据文件上传和加载插件包,原版Redash只支 持将Json数据文件自行上传至网络存储,通过网络加载数据;要求联网才能使用, 操作复杂;改进后支持不需联网、本地Excel、CSV和Json文件直接上传,自动加载数 据显示视图和报表,实现了本地文件作为数据源功能。..原创 2020-11-09 10:50:43 · 1955 阅读 · 5 评论