![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库
文章平均质量分 79
bigdata从入门到放弃
将来的你肯定会感谢现在努力的自己
展开
-
数仓可视化5--superset的部署安装
Apache Superset 是一个现代的数据探索和可视化平台。它功能强大且十分易用,可对接各种数据源,包括很多现代的引擎,拥有丰富的图表展示形式,并且支持自定义仪表盘。原创 2024-01-02 09:28:11 · 939 阅读 · 0 评论 -
数仓可视化3--dws层宽表
昨天是统计的一个用户启动一次,就记录一次,将启动时间变为了时间段。原创 2024-01-02 08:59:46 · 476 阅读 · 0 评论 -
数仓可视化2--数仓分层
action行为种类:INSTALL("01", "install","安装"),LAUNCH("02", "launch","启动"),LOGIN("03", "login","登录"),REGISTER("04", "register","注册"),INTERACTIVE("05", "interactive","交互行为"),EXIT("06", "exit","退出"),PAGE_ENTER_H5("07", "page_enter_h5","网页页面进入"),原创 2023-12-28 10:43:07 · 426 阅读 · 0 评论 -
电商数仓可视化1--数据导入
1、业务数据业务数据往往产生于事务型过程处理,所以一般存储在关系型数据库中,如mysql、oracle业务数据源:用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求,一般以日志形式存储于日志文件中,随后通过采集落地分布式存储介质中如hdfs、hbase用户行为日志:用户浏览、用户点评、用户关注、用户搜索、用户投诉、用户咨询3、外部数据。原创 2023-12-27 10:32:01 · 979 阅读 · 0 评论 -
数据迁移工具之datax的安装
DataX是阿里巴巴开源的一个异构数据源离线同步工具,可以实现包括关系型数据库(如MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。它致力于解决数据孤岛问题,帮助企业更好地管理和利用数据资产。原创 2023-12-21 15:27:36 · 982 阅读 · 0 评论 -
任务调度器-azkaban
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的key:value对的方式,通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。Azkaban是一个开源的数据管道和任务调度系统,用于协调和管理大规模数据处理任务,通常用于处理大规模数据处理任务、数据管道和工作流程。原创 2023-11-05 10:00:21 · 188 阅读 · 0 评论 -
大数据之数据迁移sqoop的安装
sqoop的基本介绍以及安装使用原创 2023-09-14 15:19:33 · 217 阅读 · 1 评论 -
大数据平台搭建之hive连接mysql
linux中mysql的安装、hive本地模式的搭建原创 2023-09-07 21:11:15 · 2619 阅读 · 2 评论