![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 68
sybkl
君子敬其在己者,而不慕其在天者,是以日进也。
展开
-
Windows安装配置JDK1.8
windows环境下安装配置jdk1.8,内附图文详解。原创 2023-08-05 17:32:52 · 467 阅读 · 1 评论 -
SparkSQL数据源读写
SparkSQL-DataFrame常用数据源的读写(MySQL,Hive,CSV,Excel,Clickhouse)原创 2023-07-30 22:06:29 · 166 阅读 · 1 评论 -
vue中使用echarts绘制图表
数据可视化是将数据以图表、图形等形式展现出来,以便用户能够更好地理解和分析数据。通过使用图表、图形、地图等视觉元素和交互手段,数据可视化能够帮助人们从海量的数据中发现关联、趋势和异常,进而做出更精准的决策。原创 2023-07-28 20:50:53 · 198 阅读 · 1 评论 -
ClickHouse安装部署
百度网盘下载链接:https://pan.baidu.com/s/1YdGmhGND5qA3qzBpRQaI1w提取码:sybk。原创 2023-07-27 21:11:09 · 139 阅读 · 1 评论 -
Hadoop3.1.3完全分布式安装部署
百度网盘下载地址(平台搭建全套安装包):链接:https://pan.baidu.com/s/11HyrxVKevgvJc-rI6bFLjA提取码:sybk。原创 2023-07-24 12:57:32 · 184 阅读 · 0 评论 -
Maven的安装配置与基础使用
自定义maven安装与配置,以及IDEA中自定义Maven的配置使用原创 2023-07-23 21:37:04 · 48 阅读 · 0 评论 -
zookeeper集群部署
分布式环境,zookeeper集群的部署搭建。原创 2023-07-23 17:09:05 · 41 阅读 · 0 评论 -
Flume安装与配置
flume本身解压即可,无需配置使用flume需要编写flume任务进程的配置文件,定义flume任务工作进程,本文记录了基础的flume配置文件任务在flume目录下创建job目录,放置flume任务的配置文件创建Flume Agent配置文件flume-netcat-logger.conftouch flume-netcat-logger.conf(配置文件如下)启动flume参数说明:–conf/-c:表示配置文件存储在 conf/目录。原创 2023-07-22 18:40:50 · 500 阅读 · 0 评论 -
Hive 3.1.2安装与配置
Hive 3.1.2安装部署(MySQL服务已安装)原创 2023-07-22 17:58:37 · 510 阅读 · 0 评论 -
Kafka安装与配置
并修改对应的broker.id值,不同节点broker.id值唯一。三个节点broker.id的值分别为0,1,2。(容错)即使kafka集群中负责读写的leader掉了,但是之前的消息还是可以消费的。修改config/server.properties,分发kafka到各个节点。leader:负责处理消息的读和写,leader是从所有节点中随机选择的.replicas:列出了所有的副本节点,不管节点是否在服务中.创建一个拥有3个副本的topic。isr:是正在服务中的节点.往topic发送消息。原创 2023-07-22 17:52:14 · 58 阅读 · 0 评论 -
Flink 1.14.0安装与配置
一个Job会对应一个集群,每提交一个作业会根据自身的情况,都会单独向yarn申请资源,直到作业执行完成,一个作业的失败与否并不会影响下一个作业的正常提交和运行。如果资源满了,下一个作业就无法提交,只能等到yarn中的其中一个作业执行完成后,释放了资源,下个作业才会正常提交。 在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。 Session-Cluster模式需要先启动集群,然后再提交作业,接着会向yarn申请一块空间后,原创 2023-07-22 14:38:40 · 509 阅读 · 0 评论 -
离线数仓及数据仓库
数据仓库(Data Warehouse),简称DW。数据仓库顾名思义,是⼀个很⼤的数据存储集合(存储数据的仓库,主要是用于存储过去既定发生的历史数据,对这些数据进行数据分析的操作, 从而对未来提供决策支持),出于企业的分析性报告和决策⽀持⽬的⽽创建,对多样的业务数据进⾏筛选与整合。它能为企业提供⼀定的BI(商业智能:例如数据挖掘、数据分析和数据报表)能⼒。有了数据报表,还可以指导业务流程改进。数据仓库最大的特点: 既不生产数据, 也不消耗数据, 数据来源于各个数据源ETLETL: 抽取 转换 加载。原创 2023-07-21 16:43:01 · 111 阅读 · 1 评论 -
Spark-3.0.3 安装与配置
大数据计算引擎Spark的部署,包括Standalone模式和SparkOnYarn模式原创 2023-07-21 17:02:25 · 416 阅读 · 1 评论 -
Hive On Spark(切换计算引擎为Spark)
HiveOnSpark配置()切换Hive默认的MapReduce计算引擎为Spark原创 2023-03-15 13:27:14 · 900 阅读 · 0 评论