qq_42418371的博客

原创 Phoenix集成HBase

版本选择略过进入phoenix的解压目录拷贝jar包drwxrwxr-x 4 hadoop hadoop 4096 Jun 5 2018 bindrwxrwxr-x 3 hadoop hadoop 127 Jun 5 2018 examples-rw-rw-r-- 1 hadoop hadoop 144163 Jun 5 2018 LICENSE-...

转载 Spark作业基本运行原理

Spark作业基本运行原理：我们使用spark-submit提交一个spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同：Driver进程可能在本地启动，也可能在集群中的某个工作节点上启动；Driver进程本身会根据我们设置的参数，占有一定数量的内存和CPU core。而Driver进程要做的第一件事情，就是向集群管理器（...

原创 Spark提交任务参数

1.执行命令#!/bin/bash //crontab脚本第一行必须语句，才能生成脚本cd /root/sparkjob/BaseStat; day=`date -d "-1 day" +%Y%m%d`; //定义时间格式day1=`date +%Y-%m-%d`;#只有当前没有任务在执行时，才去执行下一个任务echo "~~~~~~~~~~~~~~~~~~~~~start...

原创 Hbase架构和读写流程图解

原创 Spark 优化 一（算子对比）

reduceByKey和groupByKey建议使用reduceByKey**或者aggregateByKey算子来替代掉groupByKey算子。因为reduceByKey和aggregateByKey算子都会使用用户自定义的函数对每个节点本地的相同key进行预聚合。而groupByKey算子是不会进行预聚合的，全量的数据会在集群的各个节点之间分发和传输，性能相对来说比较差。mapPa...