学习hadoop和spark之路
云杉123
研究方向NLP,爱好篮球、骑行!
展开
-
在ubuntu 16.04上搭建spark平台
在ubuntu16.04上搭建单机版的spark平台转载 2017-01-02 18:53:34 · 3373 阅读 · 0 评论 -
Spark独立应用程序编程
上文搭建了spark平台,本文通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包。相应的,Java 程序使用 Maven 编译打包,而 Python 程序通过 spark-submit 直接提交。 1、安装sbt 2、Scala应用程序代码原创 2017-01-10 13:16:39 · 2220 阅读 · 0 评论 -
centos6.x建立用户组和用户名小结
目的: 1、建立用户组sparkgroup 2、有新用户了,可以向用户组里sparkgroup添加用户 步骤: 1、[root@s2 home]# tail /etc/passwd 查看uid. 2、如,此处用还没用的1005 groupadd -g 1010 sparkgroup #建立用户组sparkgroup,其uid为10103、想用户组sparkgroup原创 2017-02-27 16:18:49 · 4634 阅读 · 0 评论