工具
文章平均质量分 64
Carson_xcb
但行耕耘,莫问收获
展开
-
大数据——DBT:dbt集成数据质量监控插件elementary(生产环境篇)
elementary数据可以重新生成到数据库中。文件位置在dbt项目的根目录下。安装好dbt相关环境。原创 2022-11-08 15:55:51 · 1499 阅读 · 1 评论 -
大数据——DBT:dbt的数据质量监控插件re_data二次开发及编译(生产环境篇)
dbt的数据质量监控插件re_data的二次开发及编译功能一:报警功能添加功能二:增加dbt run结果的数据监控表功能三:增加re_data报警信息表的报警数据原创 2022-10-13 15:24:41 · 1962 阅读 · 0 评论 -
大数据可视化——Apache Superset连接 Amazon Athena数据源展示s3数据
安装:JDBC方式需要额外的jar包,此处选择以下方式连接:pip install PyAthena==1.8.0连接配置:连接数据源的方式awsathena+rest://:@athena.ap-southeast-1.amazonaws.com/default?s3_staging_dir=s3%3A//hcp-bmg-dev/Athena/tables/出现如下错误:‘Select’ object has no attribute ‘_simple_int_clause’请调整pi原创 2022-05-31 18:31:23 · 460 阅读 · 0 评论 -
大数据——Redshift通过UDF函数实现金融业XIRR函数
函数简介:https://support.microsoft.com/zh-cn/office/xirr-%e5%87%bd%e6%95%b0-de1242ec-6477-445b-b11b-a303ad9adc9d?ui=zh-cn&rs=zh-cn&ad=cn编写python UDF函数CREATE OR REPLACE FUNCTION xirr(dates VARCHAR ,moneys VARCHAR)RETURNS numeric(10,6) IMMUTABLEAS $原创 2022-04-07 12:33:58 · 2062 阅读 · 0 评论 -
大数据——DBT:数据治理、血缘关系DBT的安装及测试(基础使用篇)
DBT血缘关系监控,数据质量效验都很方便原创 2022-03-27 15:58:51 · 5481 阅读 · 0 评论 -
大数据——PostgreSQL快速安装使用及简单命令
1、安装存储库 RPM:sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm2、安装指定版本sudo yum install -y postgresql12-server3、初始化sudo /usr/pgsql-12/bin/postgresql-12-setup initdb4、激活并开启sudo原创 2022-03-27 14:49:34 · 2884 阅读 · 0 评论 -
大数据——使用prometheus+grafana监控clickhouse集群相关指标
一、准备prometheus下载https://prometheus.io/download/#prometheus原创 2021-09-17 18:52:08 · 1079 阅读 · 0 评论 -
Apache Dolphinscheduler —— CDH6.3.2集群模式部署(扩容)
一、前期准备参考文章: https://blog.csdn.net/qq_42502354/article/details/116537022?spm=1001.2014.3001.55011、将新的机器选择同一版本安装相应 Apache Dolphinscheduler查看配置文件安装位置installPath="/opt/dolphinscheduler"解压安装包到该目录2、添加 jar 包还需要手动添加 [ mysql-connector-java 驱动 jar ] 包到 lib 目录原创 2021-07-30 11:24:16 · 959 阅读 · 0 评论 -
Apache Dolphinscheduler —— CDH6.3.2集群模式部署(Cluster)
Apache Dolphinscheduler 一、前期准备1、基础环境配置2、下载二进制tar.gz包3、创建部署用户和hosts映射4、配置hosts映射和ssh打通及修改目录权限5、数据库初始化二、Apache Dolphinscheduler配置修改1、数据库配置2、修改运行参数三、一键部署1、执行2、登录3、启停服务一、前期准备1、基础环境配置关于CDH6.3.2基础配置如下,和官网要求存在版本差距,并不影响:MySQL (5.6.24)JDK (1.8.0_292) ,安装好后在/et原创 2021-05-08 19:10:45 · 2914 阅读 · 1 评论 -
大数据——Hive on ElasticSearch 配置实战(CDH6.3.2)
1、下载相应的jar包2、2、添加jar配置HIVE_AUX_JARS_PATH=/usr/share/hive3、建表语句1、Elecsearch 存在 { "_index": "es_hive_test", "_type": "doc", "_id": "w", "_score": 1, "_source": { "id": "23", "area": "hangzhou", "name": "lisi5"原创 2021-02-03 14:46:02 · 658 阅读 · 0 评论 -
集群监控——Zabbix部署
1 集群规划2 准备工作关闭防火墙(3台节点,已关闭) sudo service iptables stop sudo chkconfig iptables off关闭SELinux(hadoop102)修改配置文件/etc/selinux/configsudo vim /etc/selinux/config # This file controls the state of SELinux on the system. # SELINUX= can take one of th原创 2020-07-16 18:37:36 · 3817 阅读 · 0 评论 -
数据仓库——可视化报表superset
安装Minicondaconda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同Python版本的软件包及其依赖,并能够在不同的Python环境之间切换,Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等,Miniconda包括Conda、Python。此处,我们不需要如此多的工具包,故选择MiniConda。1)下载Miniconda(Python3版本)下载地址:https://repo.anaconda.com/miniconda/原创 2020-07-16 17:56:38 · 930 阅读 · 0 评论 -
大数据学习hadoop3.1.3——Presto-client安装
Presto命令行Client安装1)下载Presto的客户端https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar2)将presto-cli-0.196-executable.jar上传到hadoop101的/opt/module/presto文件夹下3)修改文件名称 mv presto-cli-0.196-executable.jar prestoc原创 2020-07-16 16:59:46 · 782 阅读 · 0 评论 -
大数据学习hadoop3.1.3——kylin即席查询——Presto server安装
Presto是一个开源的分布式SQL查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景,不能处理OLTP。Presto架构Presto优缺点Presto Server安装1、将presto-server-0.196.tar.gz导入hadoop102的/opt/software目录下,并解压到/opt/module目录 tar -zxvf presto-server-0.196.tar.gz -C /opt/module/2、修改名称为prestomv presto-serve原创 2020-07-16 16:53:11 · 361 阅读 · 0 评论 -
git实操——免密登录配置
1、首先进入用户设置2、查看ssh文件是否存在,存在则删除3、创建 ssh-keygen -t rsa -C 邮箱4、复制公钥5、在GitHub仓库中添加ssh6、使用ssh原创 2020-07-14 09:13:38 · 646 阅读 · 0 评论