- 博客(7)
- 收藏
- 关注
RSS订阅原创 离线数仓搭建
1.先执行到这两个线条上面，然后上传date_info.txt到/warehouse/gmall/tmp/tmp_dim_date_info。注意：对自己机器有信心的话，直接执行脚本，没信心的话，执行一个，重启或者等待几分钟执行下一个。这三个不用管，所以开始前我们需要确定有这些文件和配置。上传base.txt到任意目录下，且cd到该目录。到后面将时间修改为06,07分别运行lg.sh。等吧，每个半个小时起步或者一个小时，是搞不定的。多出来13张表，也就是说，现在有30张表。执行两次就到我们需要的位置。
2024-06-16 15:43:59
999
原创 使用Flink进行股票计算
在每个分区上，我们定义一个滑动窗口，窗口大小为60秒，然后使用AggregateFunction进行聚合计算。通过这个流程，我们可以实时计算每个股票代码在每分钟内的平均交易价格，为股票交易提供有价值的信息。这个程序的主要目的是读取股票数据，按照股票代码进行分组，然后在每个 60 秒的窗口内计算每种股票的平均价格，并打印到控制台。在这个类中，实现了 apply 方法，这是窗口函数的核心方法，它会在每个窗口结束时被调用。是一个辅助方法，用于将形式为 “HHmmss” 的时间字符串解析为一天中的秒数。
2024-06-16 15:39:45
1018
原创 Flink端到端的精确一次
这行代码启用了检查点，并设置了检查点的模式为精准一次。检查点间隔为5000毫秒。这行代码创建了一个Flink执行环境，它是所有Flink程序的开始。这行代码设置了检查点的存储路径，这里我们选择了HDFS作为存储介质。1.hadoop,zookeeper和kafka启动。只需要在实验一的基础上修改kafkf消费主题命令就行。3.创建对应需要的kafka主题。2.创建flink需要的存档点。更具代码的路径创建对应的目录。同KafkaEOSDemo。
2024-06-16 15:37:42
665
原创 阿里云安装Hadoop全家桶
使用阿里云服务器 安装 hadoop Hive Flume kafka zookeeper mysql等内容，教程从头开始且详细详细
2024-03-23 15:39:47
927
1
原创 Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x，zookeeper-3.8.3
/修改 zoo.cfg 配置文件，将 dataDir=/data/zookeeper/data 修改为指定的data目录。重点：以下配置都是在root用户下进行配置后续会给对应的hadoop用户权限。推荐一口气配置完在进行给予权限和进行配置文件的刷新，以及最后的分发。在安装过程中推荐设置root用户密码为1234方面后续操作。权限 给 hadoop 用户配置相关权限。hadoop2,3分别创建软连接。hadoop2,3创建软连接。hadoop2 修改为2。hadoop3 修改为3。以hadoop3为例。
2023-11-21 21:46:03
2583
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人