spark
文章平均质量分 66
隔壁村的老王
这个作者很懒,什么都没留下…
展开
-
Spark单机配置
接上篇:hadoop单机配置1、配置scala 1)添加环境变量 vi /etc/profile export CLASS_HOME=/usr/jdk-11.0.10+9/lib2、配置spark 1)添加环境变量 export SPARK_HOME=/usr/spark-3.2.0-bin-hadoop3.2-scala2.13 export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/...原创 2022-03-14 23:43:47 · 3295 阅读 · 0 评论 -
Pyspark以DataFrame格式读写Hbase
Pyspark以DataFrame格式读写Hbase本文代码参考了__miss的博客,特别感谢,原文地址如下链接:https://blog.csdn.net/u011412768/article/details/93404921我使用的环境:CDH集群,资源监控使用的yarn, spark2.3,hbase1.6 。读写方式:Hbase默认API 默认环境大家都已配置好。代码可以...原创 2019-11-11 21:20:41 · 1744 阅读 · 1 评论