- 博客(3)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 解决spark on yarn每次都上传$SPARK_HOME/jars的问题
1.前言每次提交Spark on Yarn作业时， Spark都会把$SPARK_HOME/jars下的jar打包成zip上传到hdfs分布式缓存中这样在生产上是不合适的，会浪费不必要的网络资源2.官方说明http://spark.apache.org/docs/latest/running-on-yarn.html如果我们在使用Spark on Yarn时如果为设置spark.ya...
2019-10-24 15:08:40
1164
转载 CDH集群离线部署
文章目录1.为什么使用离线部署2.准备工作2.1 离线部署主要分为三个模块:2.2 集群规划2.3 离线部署包下载3.集群节点初始化3.1 准备三台机器3.2 修改当前笔记本或台式机配置hosts文件3.3 设置所有节点的hosts文件3.4 关闭所有节点的防火墙及清空规则3.5 关闭所有节点的selinux3.6 设置所有节点的时区一致及时钟同步3.7 JDK部署3.8 hadoop001节点离...
2019-10-05 21:39:20
688
原创 Hive自定义UDF函数
文章目录1.UDF函数分类2.自定义UDF函数2.1 导入Maven依赖2.1 编写自定义函数2.2 打包成jar并上传到hive所在服务器2.3 注册UDF函数2.3.1 临时注册1.UDF函数分类UDF : User-Defined Function （用户自定义函数）一进一出UDAF : User-Defined Aggregation Function（用户自定义聚合函数） 多进一出...
2019-10-04 21:57:37
871
SAP_HANA_SQL_Script_Reference_en.pdf
2019-08-05
JSR规范大全
2018-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人