8.掌握Zookeeper的选举机制及其分布式版本控制,通知机制。
9.熟悉Java,Scala面向函数式编程,能够用Java,Scala进行Spark框架业务开发。
10.对Flink,FlinkCEP,FlinkSQL有一定了解。
11. 了解数据挖掘中K-means、线性回归、朴素贝叶斯、决策树等部分算法,良好的数学基础和逻辑概念。
12.具有良好的代码编写习惯和文档操作能力;
项目一
项目名称: 友金所APP个性化理财服务推荐2018.09—2019.07
系统架构:HDFS+Sparkstreaming+SparkSql+Redis+Flume+Kafka+Mysql+Zookeeper
项目描述:随着金融行业的井喷式发展,获取信息的方式越来越多,人们从主动获取信息逐渐变成了被动接受信息,信息量也在以几何倍数式爆发增长。为了提高产品服务质量,满足客户的个性化需求,给客户针对性推荐有价值的产品信息,现需将每位客户的需求更加细化、精准化,通过收集用户的信息与浏览行为习惯,为每个用户打上标签构建专属用户画像,针对性匹配金融产品,帮助客户发现真正有帮助,有价值的信息,节省客户的浏览时间,快速了解类似产品和资讯的速度,缩短成交周期。
主要职责:
1.通过定制好的web端添加标签信息到MySQL中。
2.从HBase中获取到用户数据信息,与MySQL中标签数据进行匹配,分析业务需要的指标,从上网行为、关注的产品类型、用户投资借贷等不同维度进行维度聚合,统计信息的各项指标;
3.用SparkSql进行分析数据,分析用户日志添加标签构建用户画像&