- 博客(22)
- 收藏
- 关注
原创 Mysql 给用户设置密码
#创建账户create user 'root'@'%' identified by 'root';#赋予权限grant all privileges on *.* to 'root'@'%' with grant option;#刷新flush privileges;#密码设置set password for 'root'@'localhost'=password('root');
2022-05-24 16:06:30
701
转载 Hbase 理解汇总
Hbase 解决热点问题:habase预分区HBase的预分区介绍及设置_wx602610c6448b8的技术博客_51CTO博客Hbase的rowKey加盐后查询:HBase 中加盐之后的表如何读取:协处理器篇_Hadoop技术博文的博客-CSDN博客
2022-03-22 00:02:42
137
转载 scala协变逆变理解
scala的协变、逆变、非变_汉子一枚-CSDN博客协变、逆变、非变spark的源代码中大量使用到了协变、逆变、非变,学习该知识点对我们将来阅读spark源代码很有帮助。来看一个类型转换的问题:class Pair[T]object Pair { def main(args: Array[String]): Unit = { val p1 = Pair("hello") // 编译报错,无法将p1转换为p2 v...https://blog.csdn.net/qq_45765882/article/deta
2022-03-02 17:35:30
120
原创 Flink对keyBy汇总后的数据排序
val env = StreamExecutionEnvironment.getExecutionEnvironment env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) env.setParallelism(1) val sourceStream = env.fromCollection(List( "a,1646150400000", "a,1646150403000",.
2022-03-02 17:28:31
3979
原创 加快数据查询响应方法汇总
索引分区:避免全局扫描缓存:redis缓存,先查缓存(如果没有查数据库,再设置缓存)计算引擎:spark基于内存,clickhouse向量化执行引擎行列式数据库:列示数据库适合汇总,同质化压缩,OLAP场景;行式数据库适合点查,OLTP场景慢sql优化:提前过滤,避免索引失效等预计算:flink宽表,kylin,hive离线计算后结果导入mysql分库分表,读写分离分布式集群 分摊查询压力...
2022-03-01 11:19:43
1622
原创 Flink 窗口函数
函数举例 聚合原理 使用举例 小结 增量窗口函数 ReduceFunction、AggregateFunction 窗口内保存一个中间聚合结果,随着新元素的加入,不断对该值进行更 新。好处是节省空间 使用keyBy的情况举例: window(...) .keyby(_._1) .aggregate(new AggregateFunction{ ... },new k...
2022-02-19 22:38:31
800
原创 Flink CEP greedy理解
使用greedyval env = StreamExecutionEnvironment.getExecutionEnvironmentval input = env.fromElements("a", "aa", "aaa","bbb","ccc","cc")val pattern = Pattern.begin[String]("a-label").where(s => s.startsWith("a")).oneOrMore .next("b-label").where(s =.
2022-02-19 20:47:54
1003
2
转载 FastJsonHttpMessageConverter类的作用
FastJsonHttpMessageConverter类的作用_feinifi的博客-CSDN博客_fastjson httpmessageconverterhttps://blog.csdn.net/feinifi/article/details/119803821
2022-02-07 16:31:56
162
原创 Flink 富函数与processFunction
与普通函数比较 使用场景 富函数 1.可以获取运行环境的上下context(getRuntimeContext由AbstractRichFunction抽象类 提供) 2.生命周期方法(open初始化函数 在每一个thread启动的时候调用一次) 3.管理状态(状态与算子绑定) 使用Map,Filter....算子的时候传入 processFunction 如果业务比较复杂,通过Flink提供这些算子无法满足我们...
2022-02-07 02:10:39
1196
转载 maven打包插件
比较 使用推荐 参考 mvn package mvn package打的JAR包中是不含有依赖包,会导致作业运行时出现找不到第三方依赖的异常 java项目优先使用maven-shade-plugin,项目中既有 java代码又有scala代码时使用maven-scala-plugin maven-assembly-plugin 将项目的所有依赖、文件都打包到同一个输出文件中。出现依赖冲突执行覆盖操作,运行会出现找不到依赖的错...
2022-02-01 18:02:01
340
转载 bigdata问题汇总
0.flink笔记Flink/Flink超神文档.pdf · 海阔天空/BigData - Gitee.com1.idea右键新建(new) 但是没有Scala class选项参考:idea右键新建(new) 但是没有Scala class选项_xuebahuobao的博客-CSDN博客_idea new 没有scala1.首先是检测下自己是否有在idea上安装Scala插件,在File--Settings-Plugins中直接搜索Scala,如果没安装的话就直接install就好啦;2.查看下
2022-01-16 23:42:26
409
原创 分页查询死循环问题
如果两个对象互相引用,在转json的时候就会出现以上异常。解决办法:1、页面不需要展示关联数据时 解决:将关联对象属性排除掉2、页面需要展示关联数据时 解决:将关联对象改为立即加载,并且将关联对象中的属性排除...
2018-05-24 12:21:40
610
原创 服务器响应json数据回jsp,json数组的值为undefined
服务器返回json数据回浏览器时,建议将返回类型设置为text/json格式。text/html格式返回浏览器的是字符串,而text/json格式返回的是json对象。如下,其实text/html格式返回的data是不能遍历的,因为它是一个字符串;即使遍历,也只能得到undefined。 图1 服务器响...
2018-05-24 11:58:06
1309
原创 org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type
具体错误:1处.2处.
2018-05-04 23:09:44
392
原创 使用getSessionFactory().getCurrentSession()获取session出现异常的原因及解决方法
出问题的地方:具体异常:org.hibernate.HibernateException: Could not obtain transaction-synchronized Session for current thread at org.springframework.orm.hibernate5.SpringSessionContext.currentSession(SpringSessi...
2018-05-01 21:23:54
4617
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人