spark
文章平均质量分 74
kwongtailau
会当凌绝顶,一览众山小
展开
-
spark-2.2.0安装和部署——Spark集群学习日记
Spark-2.2.0安装和部署教程原创 2017-07-24 17:03:03 · 56226 阅读 · 9 评论 -
安装Scala-2.11.7——集群学习日记
在安装Spark之前,我们需要安装Scala语言的支持。在此我选择的是scala-scala-2.11.7。原创 2017-07-23 22:24:00 · 8740 阅读 · 1 评论 -
Hadoop-2.7.2集群的搭建——集群学习日记
目前在我的实验室上有三台Linux主机,因为需要参加一个关于spark数据分析的比赛,所以眼见那几台服务器没有人用,我们团队就拿来配置成集群。具体打算配置如下的集群原创 2017-07-23 20:54:21 · 1968 阅读 · 3 评论 -
解决百度BMR的spark集群开启slaves结点的问题
在使用百度BMR的时候,出现了这样子一个比较困惑的地方。但百度那边帮我们初始化了集群之后,我们默认以为开启了spark集群了,于是就想也不想就开始跑我们的代码。可认真你就错了,发现它只是开启了local(即Master结点),其他的slaves结点并没有开启。原创 2017-08-13 17:04:46 · 1487 阅读 · 0 评论 -
使用fabric解决百度BMR的spark集群各节点的部署问题
在自动部署服务器方面,如果使用fabric和socket.gethostbyname()解决百度BMR的spark集群各节点的部署问题。原创 2017-10-31 19:47:08 · 758 阅读 · 0 评论 -
配置ssh免密码登录——集群学习日记
度过了难熬的考试月时期之后,最近和小伙伴一起参加的的比赛进入了紧张的准备时期。在进行工作的时候,发现有很多基础的知识点,自己不是很清楚以及了解,所以在想,要不就边学习的时候边写下学习日记,以供自己后来不懂的时候查看,同时以希望自己的一些所得能帮助到其他人。共勉之~前言 Secure Shell(缩写为SSH),是一项创建在应用层和传输层基础上的安全协议,为计算机上的Shell(壳原创 2017-07-23 14:01:29 · 1066 阅读 · 8 评论