- 博客(5)
- 收藏
- 关注
RSS订阅原创 Spark提交任务的流程以及各个节点组件的作用
Spark作业提交流程spark-submit 提交代码，Driver 执行 new SparkContext()，在 SparkContext 里构造 DAGScheduler 和 TaskScheduler。TaskScheduler 会通过后台的一个进程，连接 Master，向 Master 注册 Application。Master 接收到 Application 请求后，会使用相应的资源调度算法，在 Worker 上为这个 Applicat
2020-10-26 23:33:05
469
原创 Spark job failed during runtime. Please check stacktrace for the root cause.报错解释
select mid_id, dt, date_diff, count(*)over(partition by mid_id,date_diff) diff_countfrom ( select mid_id, dt, date_add(dt, -rk) date_diff from ( select mid_id, dt,
2020-10-19 23:43:44
4697
原创 mysql中双引号和单引号有什么区别
mysql中双引号和单引号有什么区别前2天看到有人问，mysql中双引号和单引号有什么区别？我就直接po代码和截图了，如下select * from employees where last_name = ‘K_ing’;select * from employees where last_name = “K_ing”;由此可见，mysql中，其实单引号和双引号没啥区别，单引号和双引号都可以表示字符串mysql的别名可以不加引号，如果加引号，单引号和双引号以及反引号都可以
2020-10-12 22:24:57
4610
原创 Maven_依赖下载问题解决
打开本地maven仓库。打开一个依赖，_remote.repositories 远程仓库这文件，记录了下面的依赖是从哪个仓库下载下来的。打开之后。#NOTE: This is a Maven Resolver internal implementation file, its format can be changed without prior notice.#Fri Aug 21 10:23:45 CST 2020hive-exec-3.1.2.jar>nexus-aliyun=h.
2020-10-11 14:26:50
4189
1
原创 hive服务启动的几种方式
hive的两种后台服务，到底是干什么的hive是hadoop的客户端，所以第一步是启动hadoop集群。hive连元数据有两种方式连接。第一种是直连，就是直接去mysql的metastore库里去连接。另一种通过服务去连接，hive有个服务叫metastore，还有一个服务叫hiveserver2。hive去启动metastore服务，然后服务去连接mysql，找到元数据。怎么控制hive连接元数据的方式呢？就看hive-site.xml配置文件里是否有hive.metastore.uris
2020-10-11 12:29:56
5276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人