- 博客(26)
- 收藏
- 关注
RSS订阅原创 SparkSQL数据源读写
SparkSQL-DataFrame常用数据源的读写（MySQL，Hive，CSV，Excel，Clickhouse）
2023-07-30 22:06:29
166
1
原创 vue中使用echarts绘制图表
数据可视化是将数据以图表、图形等形式展现出来，以便用户能够更好地理解和分析数据。通过使用图表、图形、地图等视觉元素和交互手段，数据可视化能够帮助人们从海量的数据中发现关联、趋势和异常，进而做出更精准的决策。
2023-07-28 20:50:53
198
1
原创 ClickHouse安装部署
百度网盘下载链接：https://pan.baidu.com/s/1YdGmhGND5qA3qzBpRQaI1w提取码：sybk。
2023-07-27 21:11:09
139
1
原创 Hadoop3.1.3完全分布式安装部署
百度网盘下载地址（平台搭建全套安装包）：链接：https://pan.baidu.com/s/11HyrxVKevgvJc-rI6bFLjA提取码：sybk。
2023-07-24 12:57:32
184
原创 Spoop安装与配置
百度网盘下载地址（平台搭建全套安装包）：链接：https://pan.baidu.com/s/11HyrxVKevgvJc-rI6bFLjA提取码：sybk。
2023-07-23 17:39:41
130
原创 Docker环境安装部署
Centos7下，部署docker容器环境，配置使用国内docker镜像。以及使用docker快速部署一个MySQL服务
2023-07-23 17:23:33
186
原创 Flume安装与配置
flume本身解压即可，无需配置使用flume需要编写flume任务进程的配置文件，定义flume任务工作进程，本文记录了基础的flume配置文件任务在flume目录下创建job目录,放置flume任务的配置文件创建Flume Agent配置文件flume-netcat-logger.conftouch flume-netcat-logger.conf(配置文件如下)启动flume参数说明:–conf/-c：表示配置文件存储在 conf/目录。
2023-07-22 18:40:50
500
原创 Kafka安装与配置
并修改对应的broker.id值，不同节点broker.id值唯一。三个节点broker.id的值分别为0,1,2。(容错)即使kafka集群中负责读写的leader掉了,但是之前的消息还是可以消费的。修改config/server.properties，分发kafka到各个节点。leader：负责处理消息的读和写，leader是从所有节点中随机选择的.replicas：列出了所有的副本节点，不管节点是否在服务中.创建一个拥有3个副本的topic。isr：是正在服务中的节点.往topic发送消息。
2023-07-22 17:52:14
58
原创 Flink 1.14.0安装与配置
一个Job会对应一个集群，每提交一个作业会根据自身的情况，都会单独向yarn申请资源，直到作业执行完成，一个作业的失败与否并不会影响下一个作业的正常提交和运行。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，下个作业才会正常提交。 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。 Session-Cluster模式需要先启动集群，然后再提交作业，接着会向yarn申请一块空间后，
2023-07-22 14:38:40
508
原创 离线数仓及数据仓库
数据仓库(Data Warehouse)，简称DW。数据仓库顾名思义，是⼀个很⼤的数据存储集合（存储数据的仓库，主要是用于存储过去既定发生的历史数据，对这些数据进行数据分析的操作, 从而对未来提供决策支持），出于企业的分析性报告和决策⽀持⽬的⽽创建，对多样的业务数据进⾏筛选与整合。它能为企业提供⼀定的BI（商业智能：例如数据挖掘、数据分析和数据报表）能⼒。有了数据报表，还可以指导业务流程改进。数据仓库最大的特点： 既不生产数据, 也不消耗数据, 数据来源于各个数据源ETLETL: 抽取 转换 加载。
2023-07-21 16:43:01
111
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人