BigData
关注
分享
扫一扫
娄夏
归时休放烛花红，待踏马蹄清夜月。
展开
-
[Scala] Flink项目小彩蛋（六）
传送区[Scala] Flink项目实例系列（零）[Scala] Flink项目实时热门商品统计（一）[Scala] Flink项目实时流量统计（二）[Scala] Flink项目恶意登录监控（三）[Scala] Flink项目订单支付失效监控（四）[Scala] Flink项目订单支付实时对账（五）[Scala] Flink项目小彩蛋（六）本项目的代码及文件见这这这，友情码是：3n9z。...原创 2020-01-03 01:03:51 · 447 阅读 · 1 评论 -
[Scala] Flink项目订单支付实时对账（五）
传送区[Scala] Flink项目实例系列（零）[Scala] Flink项目实时热门商品统计（一）[Scala] Flink项目实时流量统计（二）[Scala] Flink项目恶意登录监控（三）[Scala] Flink项目订单支付失效监控（四）[Scala] Flink项目订单支付实时对账（五）[Scala] Flink项目小彩蛋（六）本项目的代码及文件见这这这，友情码是：3n9z。...原创 2020-01-03 01:03:07 · 1017 阅读 · 0 评论 -
[Scala] Flink项目订单支付失效监控（四）
传送区[Scala] Flink项目实例系列（零）[Scala] Flink项目实时热门商品统计（一）[Scala] Flink项目实时流量统计（二）[Scala] Flink项目恶意登录监控（三）[Scala] Flink项目订单支付失效监控（四）[Scala] Flink项目订单支付实时对账（五）[Scala] Flink项目小彩蛋（六）本项目的代码及文件见这这这，友情码是：3n9z。...原创 2020-01-03 01:02:34 · 655 阅读 · 0 评论 -
[Scala] Flink项目恶意登录监控（三）
传送区[Scala] Flink项目实例系列（零）[Scala] Flink项目实时热门商品统计（一）[Scala] Flink项目实时流量统计（二）[Scala] Flink项目恶意登录监控（三）[Scala] Flink项目订单支付失效监控（四）[Scala] Flink项目订单支付实时对账（五）[Scala] Flink项目小彩蛋（六）本项目的代码及文件见这这这，友情码是：3n9z。...原创 2020-01-03 01:01:26 · 720 阅读 · 0 评论 -
[Scala] Flink项目实时流量统计（二）
传送区[Scala] Flink项目实例系列（零）[Scala] Flink项目实时热门商品统计（一）[Scala] Flink项目实时流量统计（二）[Scala] Flink项目恶意登录监控（三）[Scala] Flink项目订单支付失效监控（四）[Scala] Flink项目订单支付实时对账（五）[Scala] Flink项目小彩蛋（六）本项目的代码及文件见这这这，友情码是：3n9z。...原创 2020-01-03 00:58:07 · 2049 阅读 · 1 评论 -
[Scala] Flink项目实时热门商品统计（一）
传送区[Scala] Flink项目实例系列（零）[Scala] Flink项目实时热门商品统计（一）[Scala] Flink项目实时流量统计（二）[Scala] Flink项目恶意登录监控（三）[Scala] Flink项目订单支付失效监控（四）[Scala] Flink项目订单支付实时对账（五）[Scala] Flink项目小彩蛋（六）本项目的代码及文件见这这这，友情码是：3n9z。...原创 2020-01-03 00:48:23 · 2507 阅读 · 3 评论 -
[Scala] Flink项目实例系列（零）
前言项目基于尚硅谷的Flink教学视频，记录下来一是方便以后自己查看，二是丰富点互联网生活。学习嘛都是先模仿再创造，写完这份博客我就走完了前小部分路吧。因为很感谢尚硅谷的开源教程，另百度云脾气不好数据量又大，综上几条我决定直接放官方链接——戳我一大批开源教程就都是你的了。本项目的代码及文件见这这这，友情码是：3n9z。再说一条我的体会，我是学Python入的坑，而大数据框架很多还是用...原创 2020-01-03 00:47:44 · 1639 阅读 · 0 评论 -
[Scala] Flink 侧输出流&CheckPoint的使用
**Flink入门Demo：**侧输出流的使用，官方已经建议使用SideOutput取代split算子了更多的细节请看代码注释学习资料都来源于尚硅谷，开源免费，很感谢他们戳我直达数据源格式为sensor_1, 1547718199, 35.80018327300259sensor_1, 1547718210, 28.39839108328901sensor_6, 1547718203,...原创 2019-12-30 21:08:54 · 638 阅读 · 0 评论 -
[Scala] Flink Window操作及底层KeyedProcessFunction实例
**Flink入门Demo：**涉及Flink的窗口操作及一个底层API KeyedProcessFunction的示例，主要还是给以后自己写码当个参考，所以把很多东西摞一起了，看官请将就更多的细节请看代码注释学习资料都来源于尚硅谷，开源免费，很感谢他们戳我直达老生常谈，CSDN不支持Scala，看官请将就import com.ck.readFrom.SensorReadingimpor...原创 2019-12-30 20:43:09 · 815 阅读 · 0 评论 -
[Scala] Flink Transform算子 & Sink
**Flink入门Demo：**涉及到的Transform算子有map、flatMap、filter、keyBy、reduce、split、select、connect、union，Sink方法有kafka sink与JDBC sink，其中JDBC sink需要自定义更多的细节请看代码注释另外学习资料都来源于尚硅谷，开源免费，很感谢他们戳我直达老生常谈，CSDN不支持Scala，看官请将就...原创 2019-12-30 16:45:11 · 317 阅读 · 0 评论 -
Pycharm（IDEA）SSH远程CentOS服务器运行Pyspark程序
目的描述如题系统版本：CentOS 6.8Python：3.5.9Hadoop：2.7.2Spark：2.1.1Pycharm或IDEA SSH远程Linux方法如下：戳我至于集群搭建那是另一个故事了，此处不表#!/usr/bin/env python3# -*- coding: utf-8 -*-# Author: CK# CreateTime: 2019/12/14 10:...原创 2019-12-14 10:47:28 · 410 阅读 · 0 评论 -
Pyspark Streaming 连接 Kafka 消费、计数、排序
功能描述如题，诸君共勉，拱手参考链接敬上：官方文档参考链接import osfrom pyspark import SparkConf, SparkContextfrom pyspark.streaming import StreamingContext, DStreamfrom pyspark.streaming.kafka import KafkaUtils# 确定环境变量及...原创 2019-12-13 20:34:22 · 1020 阅读 · 0 评论