Spark
三石君1991
这个作者很懒,什么都没留下…
展开
-
hive on spark(yarn)安装部署
〇、说明HDFS+spark+hive的测试环境之前单独搭建成功了,后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章,包括官网上的教程,一路摸索着,总算是成功了。0.参考文章Hive on Spark: Getting StartedRunning Spark on YARNBuilding SparkSpark ConfigurationHive on ...原创 2019-04-10 15:19:51 · 4657 阅读 · 2 评论 -
Spark on yarn安装部署
〇、说明spark on yarn 中没有master和slave,凡是涉及到两个角色的安装基本都是standalone模式。spark on yarn 仅仅需要按照以下步骤安装启动即可。分为spark on yarn-cluster和spark on yarn-client(区别自行百度,网上很多。)一、准备1.HDFS2.YARN3.JDK8二、安装Scala1.下载官网下载(...原创 2019-04-07 20:29:47 · 1064 阅读 · 1 评论 -
Pyspark启动jupyter notebook
〇、参考Python版本问题jupyter pyspark 开发环境搭建如何在Jupyter里以不同的运行模式使用Pyspark一、安装安装到hadoop用户下,并设置好权限,两种方法:1、Anaconda官网下载或者清华源下载bash Anaconda3-5.3.1-Linux-x86_64.sh安装完成后修改环境变量:sudo vi ~/.bashrcexport PAT...原创 2019-05-08 09:16:03 · 1282 阅读 · 0 评论