xkxdqj的博客

原创 Mysql 给用户设置密码

#创建账户create user 'root'@'%' identified by 'root';#赋予权限grant all privileges on *.* to 'root'@'%' with grant option;#刷新flush privileges;#密码设置set password for 'root'@'localhost'=password('root');

转载 Hbase 理解汇总

Hbase 解决热点问题:habase预分区HBase的预分区介绍及设置_wx602610c6448b8的技术博客_51CTO博客Hbase的rowKey加盐后查询:HBase 中加盐之后的表如何读取：协处理器篇_Hadoop技术博文的博客-CSDN博客

转载 Kafka 理解汇总

kafka高吞吐量的原因:Kafka高吞吐量的原因 - 杨七 - 博客园

转载 scala协变逆变理解

scala的协变、逆变、非变_汉子一枚-CSDN博客协变、逆变、非变spark的源代码中大量使用到了协变、逆变、非变，学习该知识点对我们将来阅读spark源代码很有帮助。来看一个类型转换的问题：class Pair[T]object Pair { def main(args: Array[String]): Unit = { val p1 = Pair("hello") // 编译报错，无法将p1转换为p2 v...https://blog.csdn.net/qq_45765882/article/deta

原创 Flink对keyBy汇总后的数据排序

val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val sourceStream = env.fromCollection(List( "a,1646150400000", "a,1646150403000",.

原创 加快数据查询响应方法汇总

索引分区:避免全局扫描缓存:redis缓存,先查缓存(如果没有查数据库,再设置缓存)计算引擎:spark基于内存,clickhouse向量化执行引擎行列式数据库:列示数据库适合汇总,同质化压缩,OLAP场景;行式数据库适合点查，OLTP场景慢sql优化:提前过滤，避免索引失效等预计算:flink宽表，kylin，hive离线计算后结果导入mysql分库分表，读写分离分布式集群 分摊查询压力...

原创 Flink 窗口函数

函数举例 聚合原理 使用举例 小结 增量窗口函数 ReduceFunction、AggregateFunction 窗口内保存一个中间聚合结果，随着新元素的加入，不断对该值进行更 新。好处是节省空间 使用keyBy的情况举例： window(...) .keyby(_._1) .aggregate(new AggregateFunction{ ... },new k...

原创 Flink CEP greedy理解

使用greedyval env = StreamExecutionEnvironment.getExecutionEnvironmentval input = env.fromElements("a", "aa", "aaa","bbb","ccc","cc")val pattern = Pattern.begin[String]("a-label").where(s => s.startsWith("a")).oneOrMore .next("b-label").where(s =.

转载 FastJsonHttpMessageConverter类的作用

FastJsonHttpMessageConverter类的作用_feinifi的博客-CSDN博客_fastjson httpmessageconverterhttps://blog.csdn.net/feinifi/article/details/119803821

原创 Flink 富函数与processFunction

与普通函数比较 使用场景 富函数 1.可以获取运行环境的上下context(getRuntimeContext由AbstractRichFunction抽象类 提供) 2.生命周期方法（open初始化函数 在每一个thread启动的时候调用一次） 3.管理状态（状态与算子绑定） 使用Map，Filter....算子的时候传入 processFunction 如果业务比较复杂，通过Flink提供这些算子无法满足我们...

转载 maven打包插件

比较 使用推荐 参考 mvn package mvn package打的JAR包中是不含有依赖包，会导致作业运行时出现找不到第三方依赖的异常 java项目优先使用maven-shade-plugin,项目中既有 java代码又有scala代码时使用maven-scala-plugin maven-assembly-plugin 将项目的所有依赖、文件都打包到同一个输出文件中。出现依赖冲突执行覆盖操作,运行会出现找不到依赖的错...

转载 bigdata问题汇总

0.flink笔记Flink/Flink超神文档.pdf · 海阔天空/BigData - Gitee.com1.idea右键新建（new） 但是没有Scala class选项参考：idea右键新建（new） 但是没有Scala class选项_xuebahuobao的博客-CSDN博客_idea new 没有scala1.首先是检测下自己是否有在idea上安装Scala插件，在File--Settings-Plugins中直接搜索Scala，如果没安装的话就直接install就好啦；2.查看下

原创 Flink groupBy和KeyBy的区别

groupBy用于批计算(DataSet)，keyBy用于流计算(DataStream)

转载 Click House实现lag和lead

Click House实现lag和lead

转载 clickHouse留存计算

click House计算留存

原创 Flink实时销售宽表构建

Flink 实时宽表

原创 分页查询死循环问题

如果两个对象互相引用，在转json的时候就会出现以上异常。解决办法：1、页面不需要展示关联数据时        解决：将关联对象属性排除掉2、页面需要展示关联数据时        解决：将关联对象改为立即加载，并且将关联对象中的属性排除...

原创 服务器响应json数据回jsp,json数组的值为undefined

      服务器返回json数据回浏览器时，建议将返回类型设置为text/json格式。text/html格式返回浏览器的是字符串，而text/json格式返回的是json对象。如下，其实text/html格式返回的data是不能遍历的，因为它是一个字符串；即使遍历，也只能得到undefined。                                        图1    服务器响...

原创 提交了表单，但model(Hibernate的模型驱动)各字段映射为null的原因（情形之一）

原创 BaseDaoImpl里反射得到entity为null的原因

比较低级的一个错误，，犯了不止一次，还是先记录下来吧

原创 org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type

具体错误：1处.2处.

原创 使用getSessionFactory().getCurrentSession()获取session出现异常的原因及解决方法

出问题的地方：具体异常：org.hibernate.HibernateException: Could not obtain transaction-synchronized Session for current thread at org.springframework.orm.hibernate5.SpringSessionContext.currentSession(SpringSessi...