spark streaming 实时日志清洗和统计
1、数据处理加工模型(1)输入:文件,数据库,消息队列(2)处理:函数,sql,mapreduce,bolt,transform/action(3)输出:文件,数据库2、spark简介spark与hadoop开发wordcount对比hadoop(1)主方法(2)map(3)reducespark(1)启动(2)转换transform(3)动作actionspark常用函数转换(transform...
原创
2018-05-12 19:30:32 ·
2591 阅读 ·
0 评论