Spark Learning
文章平均质量分 60
Spark学习简记-易者悠也
易悠
事在人为
展开
-
docker pull sequenceiq/spark:1.5.1
docker pull sequenceiq/spark:1.5.1 docker build –rm -t sequenceiq/spark:1.5.1Running the image1: docker run -it -p 8088:8088 -p 8042:8042 -h sandbox sequenceiq/spark:1.5.1 bash or 2: docker r原创 2015-11-07 10:39:20 · 2622 阅读 · 0 评论 -
Spark实战-Spark SQL(一)
本文是按照周志胡老师的博客实践的,再次特别感谢周老师!Spark修炼之道(进阶篇)——Spark入门到精通:第十节 Spark SQL案例实战(一) http://blog.csdn.net/lovehuangjiaju/article/details/50639287分为以下主要的几步:获取数据 创建DataFrame DataFrame方法实战 DataFrame注册成临时表使用实战首先原创 2016-02-06 18:02:02 · 4118 阅读 · 0 评论 -
Spark1.6.0 on Hadoop-2.6.3 安装配置
安装配置Scala1 下载scala 下载解压scala包:略 附:下载链接 http://www.scala-lang.org/download/2.10.4.html移动scala到指定目录mkdir /usr/local/scalamv scala-2.10.4 /usr/local/scala 2 配置scala环境变量export SCALA_HOME=/usr/l原创 2016-01-14 14:05:46 · 2163 阅读 · 0 评论 -
Hadoop2.6.3 安装配置
下载 解压Hadoop2.6.3 tar文件下载链接:http://hadoop.apache.org/releases.html解压文件,至当前文件夹:tar -xzvf hadoop-2.6.3.tar.gz 新建自己的Hadoop目录,移动文件至该目录中新建hadoop目录mkdir /usr/local/hadoop移动解压后的文件到自己新建的hadoop目录当中mv hadoop-2原创 2016-01-10 17:47:03 · 2964 阅读 · 0 评论 -
Ubuntu15.10 安装配置SSH服务
## 下载安装SSH ##Ubuntu 下的命令:apt-get install ssh启动SSH服务/etc/init.d/ssh start使用命令验证服务是否启动成功ps -e | grep ssh设置免密码登录SSH生成公钥(id_rsa.pub)和私钥(id_rsa)将公钥(id_rsa.pub)追加到authorized_keys中(authorized_keys中保存所有用户允许以原创 2016-01-08 14:51:47 · 2800 阅读 · 0 评论 -
Ubuntu15.10 安装Vim编辑器
Ubuntu中的VIM安装命令apt-get install vim修改配置Vim编辑器修改之后的效果图(Github上的大神搞得,挺棒的!)Fork到了自己的Github,以便于学习和使用,感谢大神。一键安装地址:wget -qO- https://raw.github.com/ma6174/vim/master/setup.sh | sh -x我的Github地址:https://git原创 2016-01-06 13:21:08 · 2318 阅读 · 0 评论 -
Ubuntu15.10 安装JDK (jdk1.8.0_65)
1.下载JDK选择下载Linux版本-64位:jdk-8u65-linux-x64.tar.gz下载链接:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2.解压文件解压到当前目录tar -xvf jdk-8u65-linux-x64.tar.gz解压后的文件为:jdk1.8.原创 2016-01-06 12:48:58 · 4546 阅读 · 0 评论