大数据
文章平均质量分 88
ForwardSummer
这个作者很懒,什么都没留下…
展开
-
Flink 知识点整理及八股文问题<第四部分 Flink运行时架构>
Flink系统架构,Flink三大组件,JobManager构成和主要作用TaskManager构成和主要作用,Flink作业提交流程,Flink的数据流图,并行度,算子链,合并算子链,Flink 任务调度执行图,Flink 任务和任务槽 Tasks and Task Slots原创 2023-02-06 22:28:06 · 317 阅读 · 0 评论 -
org.apache.flink.runtime.client.JobInitializationException: Could not start the JobMaster.
IDEA执行Flink的类的main方法时,遇到如下错误,org.apache.flink.runtime.client.JobInitializationException: Could not start the JobMaster. 还以为是啥大错误,没想到只是路径错了,txt的文件格式没有拼全,加上txt就好了。原创 2022-12-17 21:34:42 · 3388 阅读 · 0 评论 -
Flink 知识点整理及八股文问题<第二、三部分 Flink快速上手和部署>
本篇为Flink的第二、三部分,Flink快速上手和Flink部署。主要包括快速上手Flink项目的步骤,用Flink做WordCount程序的步骤,Flink集群安装步骤,Flink启动类型,Flink提交作业方式,Flink部署模式。原创 2023-01-10 22:32:19 · 411 阅读 · 0 评论 -
Flink 知识点整理及八股文问题<第一部分 Flink简介>
Flink是什么Flink的特点什么叫有状态计算什么是无界和有界数据流Flink 的主要应用场景流处理和批处理的区别Spark 和Flink的区别事务处理架构有状态的流处理及其典型应用Flink分层 APILambda 架构原创 2022-12-06 15:18:04 · 969 阅读 · 0 评论 -
Hive [ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: java.net
[ 08S01] Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: java.net原创 2022-06-25 10:02:10 · 5291 阅读 · 0 评论 -
基础知识/面试常考 整理<二>
题目总结原创 2022-06-16 21:20:49 · 228 阅读 · 0 评论 -
大数据 相关框架及技术栈简介
一. Hadoop二. Spark三. Flink四. Zookeeper原创 2022-06-12 22:27:01 · 3592 阅读 · 0 评论 -
数仓及其维度(分层)建模(ODS DWD DWS DWT ADS)
一. 数仓及其维度1. 什么是数仓?数据仓库,简称数仓,( Data Warehouse )。从逻辑上理解,数据库和数仓没有区别,都是通过数据库软件实现存放数据的地方,只不过从数据量来说,数据仓库要比数据库更庞大。数仓主要是为企业制定决策,提供数据支持的。当业务简单,可以用数据库来存储,分析,制表。但当数据量几何式增长,需要跨机器整合时,数仓就是非常必要的了。2. 数仓的特点(1)集成性数仓中存储的数据来源于多个数据源,原始数据在不同数据源中的存储方式.........原创 2022-05-12 21:55:18 · 12568 阅读 · 0 评论 -
Hadoop:INFO mapreduce.Job: Running job
(-1)把Yarn运行的内存搞成8g,4g也行,如果是开的虚拟机,这个好办,如果是用云服务器搭建的,那就换个运存大点的服务器,不想换那就参照(0),CSDN上最吊的。(0)CSDN最迪吊解决办法,涉及到本质,其他都是不让MapReduce运行在Yran上,这个是真正修改了Yran与运行所需要的内存包括物理内存和虚拟内存Hadoop提交MapReduce任务后卡在mapreduce.Job: Running job_阿团团的博客-CSDN博客(1)查看所有的结点的NodeManager开启情况原创 2022-03-25 21:40:59 · 4709 阅读 · 1 评论 -
大数据-Hadoop-云服务器的搭建
一. 云服务器的购买及其设置1. 服务器的选择及购买2. 配置安全组规则(开放端口)3. xshell登录,无密登录,密钥设置二. Hadoop及JDK安装1. Hadoop以及JDK版本选择2. Hadoop以及JDK上传云端3. scp命令, sync命令以及集群分发脚本xsync4. 添加环境变量5. 安装完成后的校验三. Hadoop配置文件1. core-site.xml2. hdfs-site.xml3. yarn-site.xml4. m原创 2022-03-22 22:43:48 · 5835 阅读 · 2 评论