- 博客(3)
- 收藏
- 关注
RSS订阅转载 spark文件操作简单实例
目录[-] 1、准备文件 2、加载文件 3、显示一行 4、函数运用 （1）map （2）collecct （3）filter （4）flatMap （5）union （6） join （7）lookup （8）groupByKey （9）sortByKey 1、准备文件 ? 1
2015-09-02 16:24:34
697
转载 Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用
默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读，如file:///home/user/spark/README.md 网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RD
2015-09-02 16:13:14
485
原创 基于Ubuntu 14的hadoop全分布集群搭建
1、安装前的准备 安装环境：3台一样的虚拟机Ubuntu 14+hadoop2.6.0+java1.8.0 虚拟机：VMware 虚拟机ip地址以及hostname主机名： 192.168.238.128 slaver1 192.168.238.129 slaver2 192.168.238.130 master
2015-08-28 10:39:13
345
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人