- 博客(15)
- 收藏
- 关注
RSS订阅原创 微服务实体类命名规范
配合 VO, 提供数据库的 CRUD 操作.为了项目能够更清晰的分层,我们将不同的对象按照其功能进行划分,也就出现了各种各样的对象类型,在Java中常用的有这些:PO、DO、TO、VO、DO、DTO、DAO、POJO。2、个人理解，DTO是可以存在于各层服务中（接口、服务、数据库等等）服务间的交互使用DTO来解耦。3、个人理解使用场景，在服务层服务中，由DTO转成BO然后进行业务处理后，转成DTO返回到接口层。3、个人理解使用场景，在数据库层中，获取的数据库数据存储到PO中，然后转为DTO返回到服务层中。
2023-01-18 17:35:41
734
原创 hive常用函数
unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp('2018/08/08 08-08-08','yyyy/MM/dd HH-mm-ss');to_date：抽取日期部分 select to_date('2018-08-08 08:08:08') 抽取2018-08-08。last_day：日期的当月的最后一天 select last_day ('2018-08-08');
2022-09-05 14:54:07
201
原创 实时数仓维度关联的旁路缓存与异步IO
总结：在flink中要根据数据本身特点来决定用什么存数据，此处选用redis是因为Redis是基于内存的，当数据读进数据库中后再次读取是毫秒级以内的，而且Redis有过期时间设置ttl，flink中状态存储或者用集合存不好管理数据。独立缓存服务（redis,memcache），会有创建连接、网络IO等消耗，较堆缓存略差，但性能尚可。独立缓存服务便于维护和扩展，对于数据会发生变化且数据量很大的场景更加适用，此处选择独立缓存服务，将 redis 作为缓存介质。堆缓存，性能更好，效率更高，因为数据访问路径更短。.
2022-08-29 16:26:54
1104
原创 sparkstreaming双流join
String如果使用的是Redis集群，则在存数据的时候是按照RedisKey进行hash存储的，如果是Hash类型的话，不同orderId的RedisKey都一样，这样数据会都存放在相同的节点上，导致数据倾斜，某个节点压力过大3.redisKey怎么设计？userInfo的json字符串2.用什么类型？当然sparkstreaming计算实时数据时有弊端，开窗进行数据统计groupby的时候由于开窗滑动步长一般为微批次时间间隔的整数倍，会导致不完全在窗口范围中的数据统计漏掉。............
2022-07-22 20:07:30
583
原创 HBase介绍
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map(多维地图)。 1）Name Space命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表。HBase两个自带的命名空间，分别是hbase和default，hbase中存放的是HBase内置的表，default表是用户默认使用的
2022-07-14 16:15:03
8563
2
原创 Redis简介
（1）Redis是一个开源的key-value存储系统。（2）它支持存储的value类型相对更多，包括string（字符串）、list（链表）、set（集合）、zset（sorted set）和hash（哈希类型）。（3）Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件（4）支持高可用和集群模式。（1）高频次，热门访问的数据，降低数据库IO（2）经典的Cache Aside Pattern（旁路缓存模式）1）缓存数据（1）需要高频次访问（2）持久化数据访问较慢2）临时数据（1）高频次
2022-07-14 15:06:14
436
原创 sparkcore代码知识点
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。在Spark中创建RDD的创建方式可以分为三种：从集合中创建RDD、从外部存储创建RDD、从其他RDD创建。1）从集合中创建RDD，spark主要提供了两种函数：parallelize和makeRDDval list = List(1, 2, 3, 4) // 从集合创建rdd val intR
2022-06-12 01:28:07
109
原创 Spark入门
Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Hadoop与Spark历史Hadoop与Spark框架对比 Spark内置模块 Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。 Spark SQL：是Spark用来操作结构化数据的程序包
2022-06-11 19:51:34
2778
原创 初识Scala
第1章 Scala语法入门概述Scala将面向对象和函数式编程结合成一种简洁的高级语言。语言特点如下：（1）Scala和Java一样属于JVM语言，使用时都需要先编译为class字节码文件，并且Scala能够直接调用Java的类库。（2）Scala支持两种编程范式面向对象和函数式编程。（3）Scala语言更加简洁高效；语法能够化简，函数式编程的思想使代码结构简洁。（4）作者马丁·奥德斯基设计Scala借鉴了Java的设计思想，同时优秀的设计也推动了Java语言的发展。第2章
2022-05-28 22:56:12
147
原创 采集项目各组件脚本代码
hadoop启停脚本vim hdp.sh输入如下内容：#!/bin/bashif [ $# -lt 1 ]then echo "No Args Input..." exit ;ficase $1 in"start") echo " =================== 启动 hadoop集群 ===================" echo " --------------- 启动 hdfs ----------...
2022-05-25 17:02:04
118
原创 flume的配置文件书写
首先进入flume官网 flume.apache.org，这里可以看到flume已经很久没有更新了最新版还是19年一月的（说明flume基本已经没啥可优化的了），以最新版为例。1.进入flume的文档。2.翻到官方给的样例先复制到一个文本编辑器中，照着这个改就行，这里我用sublime来写。3.根据需求修改配置文件，这里以flume作为数据通道，将用户行为数据由Flume从Kafka直接同步到HDFS为例说明。4.按照规划，该Flume需将Kafka中topic_log的
2022-05-22 11:45:12
1325
原创 初识hive（学习笔记）
什么是Hive1） hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。2） Hive本质：将HQL转化成MapReduce程序。Hive架构原理驱动器：Driver（1）解析器（SQL Parser）：语法分析，比如表是否存在、字段是否存在、SQL语义是否有误。（2）编译器（Physical Plan）：编译生成逻辑执行计划。（3）优化
2022-05-07 22:12:25
1709
1
原创 关于mapreduce的参数（学习笔记）
一、mr、yarn分配资源的配置参数1.mapred-default.xml中配置即可生效 配置参数 参数说明 mapreduce.map.memory.mb MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb ReduceTask可使用的资源上限（单位:MB）
2022-05-05 11:23:09
766
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人