- 博客(4)
- 收藏
- 关注
RSS订阅原创 Java gateway process exited before sending its port number
Java gateway process exited before sending its port number
2022-08-07 17:14:10
6375
1
原创 spark on yarn 的client模式跟cluster模式的区别
从深层次的含义讲，yarn-cluster和yarn-client模式的区别其实就是ApplicationMaster进程的区别，yarn-cluster模式下，driver运行在AM(ApplicationMaster)中，它负责向YARN申请资源，并监督作业的运行状况。而yarn-client模式下，ApplicationMaster仅仅向YARN请求executor，client会和请求的container通信来调度他们工作，也就是说Client不能离开。.........
2022-07-25 20:12:27
534
原创 说说你对数据仓库的看法
因为同一个主题的数据可能来自不同的数据源，它们之间会存在着差异（异构数据）诸如字段同名不同意、单位不统一、编码不统一；数仓是分析数据规律的平台，不是创造数据规律的平台。一天一分析（T+1）、一周一分析（T+7）等（上述所讲的更多偏向于离线数仓，当下还有比较火的实时数仓）1、面向主题性在数仓中开展分析，首先确定分析的主题，然后基于主题寻找，采集跟主题相关的数据，一个分析的主题可以对应多个数据源。数据仓库本身也不消费数据，其分析的结果给外部各种数据应用（Dataapplication）来使用。...
2022-07-25 19:49:07
503
原创 Hadoop高频面试题
1 HDFS的存储机制（读写流程）?2 ：HDFS中大量小文件带来的问题以及解决的方案3：HDFS三个核心组件时什么，分别有什么作用4： fsimage和editlogs是做什么用的?5：namenode的工作机制6：datenode工作机制7：Hadoop中需要哪些配置文件，其作用是什么？8：列出正常工作的hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？9 ：Linux中的块大小为4KB, 为什么HDFS中块大小为128MB?10：NameNode与Second
2022-06-04 21:53:47
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人