- 博客(5)
- 收藏
- 关注
原创 Phoenix集成HBase
版本选择略过进入phoenix的解压目录拷贝jar包drwxrwxr-x 4 hadoop hadoop 4096 Jun 5 2018 bindrwxrwxr-x 3 hadoop hadoop 127 Jun 5 2018 examples-rw-rw-r-- 1 hadoop hadoop 144163 Jun 5 2018 LICENSE-...
2020-03-20 15:21:16 378
转载 Spark作业基本运行原理
Spark作业基本运行原理:我们使用spark-submit提交一个spark作业之后,这个作业就会启动一个对应的Driver进程。根据你使用的部署模式(deploy-mode)不同:Driver进程可能在本地启动,也可能在集群中的某个工作节点上启动;Driver进程本身会根据我们设置的参数,占有一定数量的内存和CPU core。而Driver进程要做的第一件事情,就是向集群管理器(...
2020-03-18 19:01:15 172
原创 Spark提交任务参数
1.执行命令#!/bin/bash //crontab脚本第一行必须语句,才能生成脚本cd /root/sparkjob/BaseStat; day=`date -d "-1 day" +%Y%m%d`; //定义时间格式day1=`date +%Y-%m-%d`;#只有当前没有任务在执行时,才去执行下一个任务echo "~~~~~~~~~~~~~~~~~~~~~start...
2020-03-18 17:43:55 822
原创 Spark 优化 一(算子对比)
reduceByKey和groupByKey建议使用reduceByKey**或者aggregateByKey算子来替代掉groupByKey算子。因为reduceByKey和aggregateByKey算子都会使用用户自定义的函数对每个节点本地的相同key进行预聚合。而groupByKey算子是不会进行预聚合的,全量的数据会在集群的各个节点之间分发和传输,性能相对来说比较差。mapPa...
2020-03-18 16:38:43 322
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人