Mac
文章平均质量分 56
DeryLiu
玩魔术演催眠的正一程序员
展开
-
Mac下ssh配置相关
开启ssh:从系统偏好设置->共享->勾选“远程登录” 修改端口:和Linux不一样,mac的/etc/下面也有sshd_config文件,但不是改这个。 read -p "Please enter new SSH Port number: " sshport; sudo sed -i "-bak" -n "/SockServiceName/{p;n;s/>.*$sshport</;原创 2016-02-22 13:29:57 · 1137 阅读 · 0 评论 -
Mac环境下配置Hadoop-2.6.2版本
1. 单机模式 (1) ssh设置远程登录: sh-keygen -t rsa -P "" cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 登录测试 ssh localhost exit (2) 安装jdk(忽略) (3) 配置环境变量 vim ~/.bash_profile 输入内容原创 2016-02-22 13:37:30 · 2015 阅读 · 0 评论 -
Load Native-Hadoop Library For Mac
https://gauravkohli.com/2014/09/28/building-native-hadoop-v-2-4-1-libraries-for-os-x/ If you are reading this blog, I assume that you already have Hadoop(v 2.4.1) installed on your OS X machine转载 2016-05-12 13:14:59 · 633 阅读 · 0 评论 -
Spark实践项目2:软件安装
1、使用课程提供的hadoop-2.5.0-cdh5.3.6.tar.gz,上传到虚拟机的/usr/local目录下。(http://archive.cloudera.com/cdh5/cdh/5/) 2、将hadoop包进行解压缩:tar -zxvf hadoop-2.5.0-cdh5.3.6.tar.gz 3、对hadoop目录进行重命名:mv hadoop-2.5.0-c原创 2016-07-17 19:57:48 · 534 阅读 · 0 评论 -
Spark实践项目4:Spark基本概念
Spark基本概念 RDD——Resillient Distributed Dataset A Fault-Tolerant Abstraction for In-Memory Cluster Computing弹性分布式数据集。Operation——作用于RDD的各种操作分为transformation和action。Job——作业,一个JOB包含多个RDD及作用于相应RDD上的各种ope原创 2016-08-07 16:33:30 · 522 阅读 · 0 评论