![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink电商项目
Flink
Knight_AL
这个作者很懒,什么都没留下…
展开
-
Flink-电商用户行为分析(实时对账)
链接:https://pan.baidu.com/s/1_DJmEPtNxsCiDnw8KNwmoA 提取码:exq9接下来我将使用两种方法(1.继承CoProcessFunction,2.使用join操作)代码实现import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor}import org.apache.flink.streaming.api.TimeCharacteristicimport org原创 2020-11-03 14:38:16 · 900 阅读 · 4 评论 -
Flink-电商用户行为分析(订单支付实时监控-CEP实现)_2
数据链接:https://pan.baidu.com/s/1nSMh3JaNDW1SheQ5I4J0FQ提取码:e49w在电商平台中,最终创造收入和利润的是用户下单购买的环节;更具体一点,是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求,但在现实中,并不是每次下单都会被用户立刻支付。当拖延一段时间后,用户支付的意愿会降低。所以为了让用户更有紧迫感从而提高支付转化率,同时也为了防范订单支付环节的安全风险,电商网站往往会对订单状态进行监控,设置一个失效时间(比如 15 分钟),如果下单原创 2020-11-03 09:51:02 · 618 阅读 · 0 评论 -
Flink-电商用户行为分析(订单支付实时监控-状态编程实现)_2
数据链接:https://pan.baidu.com/s/1nSMh3JaNDW1SheQ5I4J0FQ提取码:e49w在电商平台中,最终创造收入和利润的是用户下单购买的环节;更具体一点,是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求,但在现实中,并不是每次下单都会被用户立刻支付。当拖延一段时间后,用户支付的意愿会降低。所以为了让用户更有紧迫感从而提高支付转化率,同时也为了防范订单支付环节的安全风险,电商网站往往会对订单状态进行监控,设置一个失效时间(比如 15 分钟),如果下单原创 2020-11-02 15:13:21 · 522 阅读 · 1 评论 -
Flink-电商用户行为分析(页面广告点击量统计-黑名单过滤)_2
数据https://pan.baidu.com/s/1s0ie5jo8o9cXvYY5G14wQ提取码:6nbw对于广告的统计,最简单也最重要的就是页面广告的点击量,网站往往需要根据广告点击量来制定定价策略和调整推广方式,而且也可以借此收集用户的偏好信息。更加具体的应是,我们可以根据用户的地理位置进行划分,从而总结出不同省份用户对不同广告的偏好,这样更有助于广告的精准投放。需求:接下来我们就进行页面广告按照省份划分的点击量的统计,然后开一小时的时间窗口,滑动距离为 5 秒,统计窗口内的点击事件数原创 2020-10-30 17:34:16 · 547 阅读 · 0 评论 -
Flink-电商用户行为分析(APP市场推广渠道统计)_分渠道统计+不分渠道统计_2
随着智能手机的普及,在如今的电商网站中已经有越来越多的用户来自移动端,相比起传统浏览器的登录方式,手机 APP 成为了更多用户访问电商网站的首选。对于电商企业来说,一般会通过各种不同的渠道对自己的 APP 进行市场推广,而这些渠道的统计数据(比如,不同网站上广告链接的点击量、APP 下载量)就成了市场营销的重要商业指标。 首 先 我 们 考 察 分 渠 道 的 市 场 推 广 统 计 。由于没有现成的数据,所以我们需要**自定义一个测试源来生成用户行为的事件流**。分渠道统计import java.s原创 2020-10-29 22:09:46 · 307 阅读 · 0 评论 -
Flink-电商用户行为分析(订单支付实时监控-状态编程实现)_1
数据链接:https://pan.baidu.com/s/1nSMh3JaNDW1SheQ5I4J0FQ提取码:e49w在电商平台中,最终创造收入和利润的是用户下单购买的环节;更具体一点,是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求,但在现实中,并不是每次下单都会被用户立刻支付。当拖延一段时间后,用户支付的意愿会降低。所以为了让用户更有紧迫感从而提高支付转化率,同时也为了防范订单支付环节的安全风险,电商网站往往会对订单状态进行监控,设置一个失效时间(比如 15 分钟),如果下单原创 2020-07-10 23:25:43 · 1087 阅读 · 0 评论 -
Flink-电商用户行为分析(订单支付实时监控-CEP实现)
数据链接:https://pan.baidu.com/s/1nSMh3JaNDW1SheQ5I4J0FQ提取码:e49w在电商平台中,最终创造收入和利润的是用户下单购买的环节;更具体一点,是用户真正完成支付动作的时候。用户下单的行为可以表明用户对商品的需求,但在现实中,并不是每次下单都会被用户立刻支付。当拖延一段时间后,用户支付的意愿会降低。所以为了让用户更有紧迫感从而提高支付转化率,同时也为了防范订单支付环节的安全风险,电商网站往往会对订单状态进行监控,设置一个失效时间(比如 15 分钟),如果下单原创 2020-07-10 20:49:33 · 1230 阅读 · 0 评论 -
Flink-电商用户行为分析(CEP-Maven依赖包)
<dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-cep-scala_${scala.binary.version}</artifactId> <version>${flink.version}</version>.原创 2020-07-10 19:45:25 · 1090 阅读 · 0 评论 -
Flink-电商用户行为分析(恶意登录监控-CEP实现)
数据链接:https://pan.baidu.com/s/1x1lJ1iuuefTn-tTGC6C3UQ提取码:iz9n需求在 2 秒之内连续两次登录失败import java.utilimport org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.CEPimport org.apache.flink.cep.scala.pattern.Patternimport org.apache.原创 2020-07-10 19:41:32 · 933 阅读 · 0 评论 -
Flink-电商用户行为分析(页面广告点击量统计-黑名单过滤)
数据链接:https://pan.baidu.com/s/1s0-ie5jo8o9cXvYY5G14wQ提取码:6nbw对于广告的统计,最简单也最重要的就是页面广告的点击量,网站往往需要根据广告点击量来制定定价策略和调整推广方式,而且也可以借此收集用户的偏好信息。更加具体的应是,我们可以根据用户的地理位置进行划分,从而总结出不同省份用户对不同广告的偏好,这样更有助于广告的精准投放。需求:接下来我们就进行页面广告按照省份划分的点击量的统计,然后开一小时的时间窗口,滑动距离为 5 秒,统计窗口内的点原创 2020-07-09 19:27:43 · 916 阅读 · 2 评论 -
Flink-电商用户行为分析(APP市场推广渠道统计)_分渠道统计+不分渠道统计_1
随着智能手机的普及,在如今的电商网站中已经有越来越多的用户来自移动端,相比起传统浏览器的登录方式,手机 APP 成为了更多用户访问电商网站的首选。对于电商企业来说,一般会通过各种不同的渠道对自己的 APP 进行市场推广,而这些渠道的统计数据(比如,不同网站上广告链接的点击量、APP 下载量)就成了市场营销的重要商业指标。 首 先 我 们 考 察 分 渠 道 的 市 场 推 广 统 计 。由于没有现成的数据,所以我们需要**自定义一个测试源来生成用户行为的事件流**。分渠道统计import java.s原创 2020-07-07 22:32:46 · 482 阅读 · 0 评论 -
Flink-电商用户行为分析(网站独立访客数(UV)的统计)
数据链接:https://pan.baidu.com/s/1InfWoNYUeV1KYyvFS1aXuA提取码:z3p4统计流量的重要指标是网站的独立访客数(Unique Visitor,UV)。UV指的是一段时间(比如一小时)内访问网站的总人数,1 天内同一访客的多次访问只记录为一个访客。通过 IP 和 cookie 一般是判断 UV 值的两种方式。当客户端第一次访问某个网站服务器的时候,网站服务器会给这个客户端的电脑发出一个 Cookie,通常放在这个客户端电脑的C盘当中。在这个 Cookie中会原创 2020-07-07 20:56:55 · 2113 阅读 · 0 评论 -
Flink-电商用户行为分析(网站总浏览量(PV)的统计)
衡量网站流量一个最简单的指标,就是网站的页面浏览量(Page View,PV)。用户每次打开一个页面便记录 1 次 PV,多次打开同一页面则浏览量累计。一般来说,PV 与来访者的数量成正比,但是 PV 并不直接决定页面的真实来访者数量,如同一个来访者通过不断的刷新页面,也可以制造出非常高的 PV!我们知道,用户浏览页面时,会从浏览器向网络服务器发出一个请求(Request),网络服务器接到这个请求后,会将该请求对应的一个网页(Page)发送给浏览器,从而产生了一个 PV。所以我们的统计方法,可以是从 we原创 2020-07-07 20:29:11 · 1763 阅读 · 1 评论 -
Flink-电商用户行为分析(所需要的maven包)
flink1.7.2 scala2.11<properties> <flink.version>1.7.2</flink.version> <scala.binary.version>2.11</scala.binary.version> <kafka.version>2.2.0</kafka.version> </properties> &l原创 2020-07-06 23:19:09 · 1307 阅读 · 0 评论 -
Flink-电商用户行为分析(基于服务器 log的热门页面浏览量统计 )
数据链接:https://pan.baidu.com/s/1gT6GhMQckShlbhLCqb_pWQ提取码:558h我们现在要实现的模块是 “实时流量统计”。对于一个电商平台而言,用户登录的入口流量、不同页面的访问流量都是值得分析的重要数据,而这些数据,可以简单地从 web 服务器的日志中提取出来。我们在这里先实现“热门页面浏览数”的统计,也就是读取服务器日志中的每一行 log,统计在一段时间内用户访问每一个 url 的次数,然后排序输出显示。具体做法为:每隔 5 秒,输出最近 10 分钟内访原创 2020-07-06 23:15:44 · 694 阅读 · 0 评论 -
Flink-电商用户行为分析(kafka)
这篇文章是在https://blog.csdn.net/qq_46548855/article/details/107144990基础上改用kafka根据实际的需要,我们还可以将 Sink 指定为 Kafka、ES、Redis 或其它实际生产环境中,我们的数据流往往是从 Kafka 获取到的。如果要让代码更贴近生产实际,我们只需将 source 更换为 Kafka 即可: val properties = new Properties() properties.setProperty("boo原创 2020-07-06 22:20:36 · 504 阅读 · 0 评论 -
Flink-电商用户行为分析(每隔 5 分钟输出最近一小时内点击量最多的前 N 个商品)
数据链接:https://pan.baidu.com/s/1InfWoNYUeV1KYyvFS1aXuA提取码:z3p4程序主体import org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentimport org.apache.flink.api.scala._import org.apache.flink.streaming.api.TimeCharacteristic//640533,3168550,47198原创 2020-07-05 21:53:09 · 7425 阅读 · 4 评论