1、数据处理加工模型
(1)输入:文件,数据库,消息队列
(2)处理:函数,sql,mapreduce,bolt,transform/action
(3)输出:文件,数据库
2、spark简介
spark与hadoop开发
wordcount
对比
hadoop
(1)主方法
(2)map
(3)reduce
spark
(1)启动
(2)转换transform
(3)动作action
spark常用函数
转换(transformation)
转换
|