- 博客(3)
- 收藏
- 关注
转载 spark文件操作简单实例
目录[-] 1、准备文件 2、加载文件 3、显示一行 4、函数运用 (1)map (2)collecct (3)filter (4)flatMap (5)union (6) join (7)lookup (8)groupByKey (9)sortByKey 1、准备文件 ? 1
2015-09-02 16:24:34
697
转载 Spark中加载本地(或者hdfs)文件以及SparkContext实例的textFile使用
默认是从hdfs读取文件,也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径前面加上file:// 表示从本地文件系统读,如file:///home/user/spark/README.md 网上很多例子,包括官网的例子,都是用textFile来加载一个文件创建RD
2015-09-02 16:13:14
485
原创 基于Ubuntu 14的hadoop全分布集群搭建
1、安装前的准备 安装环境:3台一样的虚拟机Ubuntu 14+hadoop2.6.0+java1.8.0 虚拟机:VMware 虚拟机ip地址以及hostname主机名: 192.168.238.128 slaver1 192.168.238.129 slaver2 192.168.238.130 master
2015-08-28 10:39:13
345
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人