![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark项目
文章平均质量分 94
spark实时项目
ly的学习笔记
这个作者很懒,什么都没留下…
展开
-
Spark实时数仓(三)
二.样例类三.ES相关(创建index)四.Alert实现五.启动APPES客户端查看输入参数返回结果3.编辑子模块(gmall-realtime)一.数据处理流程三.采集user_Info进入缓存(redis)五.双流join二.配置 application.properties三.业务代码实现pojo层option.java(一个统计选项)SaleDetail.java(销售统计详情)Stat.java(一组统计选项)dao层ESDao.ja原创 2022-07-11 22:55:31 · 445 阅读 · 0 评论 -
Spark实时数仓(二)
二.配置文件config.propertieslog4j.properties三.工具类PropertiesUtil.scalaMyKafkaUtil.scalaRedisUtil四.DAU实现流程图设计redis的key,value| key | value || — | — || 当前批次日期(logDate) | 设备号(mid) |Phoenix建表为了便于对数据进行解析,需要将数据封装为样例类(StartUpLog,StartLogo原创 2022-07-11 22:54:52 · 374 阅读 · 0 评论 -
Spark实时数仓(一)
pom.xml2.创建子模块(gmall-common)一.pom.xml二.MyConstants.java3.创建子模块(gmall-logger)将gmall-common模块pom.xml中的以下配置复制到gmall-logger模块的pom.xmlspark-gmall的pom.xml添加以下内容gmall-logger.xmlapplication.properties整合log4j(log4j.properties)编写contro原创 2022-07-11 22:54:09 · 1969 阅读 · 0 评论 -
ElasticSearch笔记
查询: 宽泛的概念!只要将某个东西查询出来!搜索: 一种特定的查询! 搜索一般指 通过某个关键字,检索出和关键字相关的信息!搜索引擎,不适合使用关系型数据库存储数据!原因: ①在搜索时,只输入关键字,希望可以得到匹配关键字的所有的数据!如果使用数据库,在查询时一定需要模糊查询,模糊查询会导致索引失效,全表扫描!效率低!2.几个框架solr : 和es的作用是一样的,都是用于搜索!效率上: solr(老大哥): 小数据量,静态搜索,优于es!es(新人) : 大数量,动态搜索,优于s原创 2022-07-11 22:53:35 · 232 阅读 · 0 评论