Spark
文章平均质量分 66
DeryLiu
玩魔术演催眠的正一程序员
展开
-
Mac环境下配置Hadoop-2.6.2版本
1. 单机模式(1) ssh设置远程登录:sh-keygen -t rsa -P ""cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys登录测试 ssh localhostexit(2) 安装jdk(忽略)(3) 配置环境变量vim ~/.bash_profile输入内容原创 2016-02-22 13:37:30 · 2002 阅读 · 0 评论 -
Hadoop2.X 64位编译
1 编译Hadoop2.X 64位1.1 软硬件环境说明节点使用CentOS系统,防火墙和SElinux禁用,创建了一个shiyanlou用户,并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlo转载 2016-03-03 19:33:03 · 511 阅读 · 0 评论 -
Load Native-Hadoop Library For Mac
https://gauravkohli.com/2014/09/28/building-native-hadoop-v-2-4-1-libraries-for-os-x/If you are reading this blog, I assume that you already have Hadoop(v 2.4.1) installed on your OS X machine转载 2016-05-12 13:14:59 · 624 阅读 · 0 评论 -
IntelliJ IDEA下的Spark程序开发
1.创建项目:选好javaSDK和scalaSDK2.导入Spark的jar文件依赖:File-Project Structure-Libraries-jar 选择 spark路径下lib文件夹内的assembly jar包。3.编写代码:4.打jar包:File-Project Structure-Artifacts原创 2016-05-11 15:26:39 · 688 阅读 · 0 评论 -
Spark实践项目1:CentOS虚拟机搭建
虚拟机软件采用VirtualBox。1.下载CentOS镜像: 本次实验采用的是 CentOS-6.4-i386-minimal.iso2、创建虚拟机: 打开VirtualBox,点击“新建”按钮; 输入虚拟机名称为sparkproject1,选择操作系统为Linux,选择版本为RedHat; 分配1024MB内存;原创 2016-07-15 12:08:16 · 935 阅读 · 0 评论 -
Spark实践项目2:软件安装
1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz,上传到虚拟机的/usr/local目录下。(http://archive.cloudera.com/cdh5/cdh/5/)2、将hadoop包进行解压缩:tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz3、对hadoop目录进行重命名:mv hadoop-2.5.0-c原创 2016-07-17 19:57:48 · 527 阅读 · 0 评论 -
Spark实践项目4:Spark基本概念
Spark基本概念RDD——Resillient Distributed Dataset A Fault-Tolerant Abstraction for In-Memory Cluster Computing弹性分布式数据集。Operation——作用于RDD的各种操作分为transformation和action。Job——作业,一个JOB包含多个RDD及作用于相应RDD上的各种ope原创 2016-08-07 16:33:30 · 514 阅读 · 0 评论