- 博客(51)
- 资源 (1)
- 问答 (6)
- 收藏
- 关注
原创 No typehandler found for property XXX
报错createTime字段的typehandler对应不上,找了半天才发现是java代码实体类中createTime的类型写错了,本来这个字段是时间Date类型,但是实体上有lombok注解的@Data,可能给createTime写类型时敲的太快了,不小心给写成Data了,害我花了点时间,所以记录下。后面再遇到这个问题,就看报的哪个字段的错,直接去看那个字段的类型和mapper.xml中。前两天写Java代码,通过mybatis对数据库进行读写操作,但在项目启动时,报错。
2024-08-23 15:42:30
125
原创 Redis数据类型
作用介绍:用于统计一个集合中不重复的元素个数。典型应用场景例如根据用户访问记录统计网站的UV。作用介绍:Redis版的MQ – 阻塞队列 + pub/sub;了解即可,企业应用比较少。个人感觉,可以理解为一个key中有多个KV(基于地理空间的一种数据类型。
2024-08-11 23:38:33
537
原创 Sentinel控制台菜单
通过"冷启动",让通过的流量缓慢增加,在一定时间内逐渐增加到阈值上限,给冷系统一个预热的时间,避免冷系统被压垮。独立模式(Alone),即作为独立的 token server 进程启动,独立部署,隔离性好,但是需要额外的部署操作(需要额外部署一个其他服务)。热点即经常访问的数据。通过接口访问,实时监控页面可以看到,刚开始的阈值是3/3=1,大于1的请求直接失败了,后面在5秒内逐渐把阈值升到3。,同一秒超过3的访问会放到队列中,放到下一秒执行,但不会一直在队列中等待,如果等待时间超过了超时时间,就不执行了。
2024-07-31 01:18:16
597
原创 Sentinel使用
随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel 是面向分布式、多语言异构化服务架构的流量治理组件,主要以流量为切入点,从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助开发者保障微服务的稳定性。官网地址。
2024-07-23 00:04:11
961
原创 记一次由于代码原因导致Mysql连接被打满和唯一索引重复问题
但后续又延伸出另一个问题:Mysql表中teacherId是设置的唯一索引,但由于是一直消费MQ,MQ消息中是studentId,会反查teacherId,所以多个消息可能对应的是同一个teacherId,但代码都懂得,多线程执行的,所以插入时,偶然在代码中报了。事务注解,但后来一想,多线程情况下,这也解决不了问题,但此业务又不是很重要,没必要用到分布式锁,所以后面从sql入手,使用。的错误,由于文章时后面写的,具体报错没报存也懒的百度了,虽然是偶发事件,但还是得解决,本来想的是在代码中把。
2024-05-26 23:27:13
352
原创 java枚举中写抽象方法
,然后又定义了一个抽象方法,具体作用是要返回student实体的每个相对应的属性value,所以在NAME、AGE。中要实现这个抽象方法并写具体的业务逻辑,具体使用时就是传入一个student对象,然后枚举中每个value中重写的抽象方法都走一遍。之前写java枚举时,都是中规中矩的写,从来没见过在枚举中写抽象方法的,但最近换了新公司,接手了新项目,发现枚举中竟然写了抽象方法,由于之前没接触过这种写法,所以这里记录下。,由于我这是第一次接触这种写法,所以可能每个人的理解有所不同,如果说错了还请指出。
2023-10-12 11:07:33
498
原创 Mybatis的mapper.xml批量插入、修改sql
帮忙生成了一个批量修改的sql,后续我忘记是不是手动给标签手动加的这个属性,结果报错了,排查了半天这个sql哪里错了,最后还是放到数据库执行了一下看到了错误原因,当时我还让温馨一样帮忙检查了下我修改后的sql,结果还说没sql没问题,只是可能在拼接时报错。要修改的表字段B = case when 表字段 = 实体数据字段 then 实体数据字段 when 表字段 = 实体数据字段 then 实体数据字段 when …end where 条件。
2023-09-13 17:52:09
4106
原创 JsonInclude注解
Java对象中使用JsonInclude注解来标记需要包含在JSON字符串中的属性,为实体类在接口序列化返回值时增加规则的注解。
2023-08-29 23:17:48
807
原创 java8 Optional用法
java.util.Optional 是java8中引进的一个新的类,它可以对可能缺失的值进行建模,而不是直接将null赋值给变量。主要是用来避免空指针异常的提示用户要注意该对象有可能为null简化if else代码。
2023-08-29 22:22:59
356
原创 hdfs启动报错failed to stat a path component: ‘/var/run/hadoop-hdfs‘
hadoop启动报错failed to stat a path component: '/var/run/hadoop-hdfs'
2022-09-26 16:39:19
634
原创 Mysql5.7版本字段为json类型读取时中文乱码
Mysql5.7版本字段类型为json使用mybatis读取不乱码,使用其他方式读取乱码问题
2022-09-21 13:54:51
1747
原创 Spark操作Ceph
文章目录前言Ceph集群安装ceph部分组件介绍主机和每台机器安装的组件和启动的服务集群安装步骤1.机器环境准备2.安装ceph组件3.ceph的存储命令Spark操作cephceph-radosgw安装spark通过radosgw服务对ceph进行读写前言通过spark操作ceph(读/写操作),在操作之前,我是连ceph是什么都不知道的,因此这篇文章也是在我简单了解ceph后写的,可能有不足之处,请指教;spark是不能很好的和ceph对接的;虽然ceph提供的有api,但把数据读出来后,在转为r
2022-04-21 23:24:10
2385
1
原创 SparkDataFrame操作OpenLooKeng
文章目录前言openLooKeng介绍SparkDataFrame读取openLooKeng前言前几天领导让用spark集成openLooKeng,可能熟悉openLooKeng的朋友知道openLooKeng是个基于sql的计算引擎,并非存储数据的软件;那么有人就会问了,既然你spark是计算引擎,openLooKeng也是计算引擎不存数据,那么为什么还要用spark集成openLooKeng;问就是我负责的项目特殊,领导要求先把项目的生态圈丰富起来!openLooKeng介绍因为要集成openL
2022-04-15 15:14:23
2614
原创 SparkDataFrame操作TDengine
文章目录前言TDengine安装TDengine支持的数据类型SparkDataFrame连接TDengine前言前几天领导让用spark集成TDengine支持读写,没办法只能简单的了解一下TDengine,然后搭建了一个单机版的TDengine测试使用,这里也理解的比较浅显,毕竟时间紧任务重,一切以完成任务为目的。。。TDengine 是一个高效的存储、查询、分析时序大数据的平台,专为物联网、车联网、工业互联网、运维监测等优化而设计。所有安装包地址:https://www.taosdata.co
2022-03-23 18:31:05
3278
原创 SparkDataFrame操作OceanBase
文章目录前言架构集群架构SQL 引擎执行过程前言前几天领导让用spark集成OceanBase支持读写,没办法只能简单的了解一下OceanBase,然后搭建了一个单机版的OceanBase测试使用,这里也理解的比较浅显,毕竟时间紧任务重,一切以完成任务为目的。。。简单的介绍一下OceanBase 吧,大部分都是从官网直接拿过来的OceanBase 数据库是阿里巴巴和蚂蚁集团不基于任何开源产品,完全自研的原生分布式关系数据库软件, 产品具有云原生、强一致性、高度兼容 Oracle/MySQL 等特性
2022-03-23 18:16:12
3136
原创 SparkDataFrame操作TiDB数据
文章目录前言TiDB单机搭建sparkDataFrame连接TiDB前言前几天领导让用spark集成TiDB支持读写,没办法只能简单的了解一下TiDB,然后搭建了一个单机版的TiDB测试使用,这里也理解的比较浅显,毕竟时间紧任务重,一切以完成任务为目的。。。这里也附上几个我开发时用到的一些连接:安装参考视频,安装参考博客,代码参考地址,中文文档地址开发所需pom依赖<dependency> <groupId>mysql</groupId> <
2022-03-23 17:38:33
4446
原创 Mysql/Oracle一些语法
in和exists的区别//inselect * from A where id in(select id from B)以上查询使用了in语句,in()只执行一次,它查出B表中的所有id字段并缓存起来.之后,检查A表的id是否与B表中的id相等,如果相等则将A表的记录加入结果集中,直到遍历完A表的所有记录.它的查询过程类似于以下过程List resultSet=[];Array A=(select * from A); //把A表数据查询出来Array B=(select id from
2022-01-16 18:31:27
529
原创 通过HdfsApi读取hdfs的文件夹下的多个文件
val conf = new Configuration();conf.set("fs.defaultFS", "hdfs://ip:9000")val fs: FileSystem = FileSystem.get(conf);//读取dataCenter文件夹下的文件var inputPath = new Path("/user/dataCenter/")//获取到dataCenter下所有文件的状态//这里不能直接用open(path),会报错:大概意思就是dataCenter是个文件夹,
2021-12-21 17:48:44
1461
原创 Spark Streaming
文章目录Spark Streaming(流处理)快速入门概念介绍Discretized Streams (DStreams)InputStream & ReceiversBasic SourcesQueue of RDDs as a Stream(测试)Advance Source KafkaSpark Stream 算子transform(*func*)UpdateStateByKeymapWithState故障中|重启中恢复状态窗口 - windowOutput Operations(输出)fo
2021-11-07 21:19:00
318
原创 Scala Language
文章目录Scala介绍环境配置常见变量变量声明数值转换Scala介绍Scala是一门多范式的编程语言,同时支持面向对象和面向函数编程风格。它以一种优雅的方式解决现实问题。虽然它是强静态类型的编程语言,但是它强大的类型推断能力,使其看起来就像是一个动态编程语言一样。Scala语言最终会被翻译成java字节码文件,可以无缝的和JVM集成,并且可以使用Scala调用java的代码库。除了Scala编程语言自身的特性以外,目前比较流行的Spark计算框架也是使用Scala语言编写。Spark 和 Scala 能
2021-09-16 13:11:18
418
原创 Apache Storm(Low Level)
文章目录StormStorm概念StormStorm概念Storm是免费开源的分布式实时计算系统,该系统在 2.0.0 之前改架构核心实现使用Clojure编程实现,在本次版本以后Storm底层实现做了重大的调整使用Java8重构了Storm。Storm是一个实时的流处理引擎,能实现对记录的亚秒级的延迟处理。Storm在 realtime analytics、online machine learning、continuous computation、distributed RPC、 ETL等领域都
2021-08-09 23:55:54
300
原创 Kafka Streams
文章目录流计算定义Kafka Stream名词解析架构流计算定义一般流式计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上是无界的,也就意味着,永远拿不到全量数据去做计算。同时,计算结果是持续输出的,也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高,同时一般是先定义目标计算,然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率,往往尽可能采用增量计算代替全量计算。批量处理模型中,一般先有全量数据集,然后定义计算逻辑,并将计算应用于全量数据。特点是全量计算,并且计
2021-07-30 15:37:07
1025
原创 Sqoop工具
文章目录sqoop概念Hadoop(CDH)环境搭建Hive(CDH)环境搭建Sqoop(CDH)环境搭建Sqoop语法详解sqoop概念TODO:后续补充sqoop用于hadoop和传统数据库间的数据传递的工具。此次用到的hadoop是CDH版的,不需要源码编译生成64位的文件,可以省略一些时间。Hadoop(CDH)环境搭建1. ip 主机名 映射 防火墙 selinux jdk ssh 2. hadoop解压缩3. 修改hadoop相关配置文件 hadoop-env.sh
2021-06-29 16:46:41
299
原创 Hive学习
HiveHive引言hive是faceBook开源,并捐献给了apache组织,作为apache的顶级项目项目。 地址:hive.apache.org。hive是一个基于大数据的数据仓库技术(DataWareHouse,简称数仓),底层依附HDFS、MapReducehive的好处:书写sql语句,由hive把sql转换为MapReduce,简化开发hive的运行原理:hive通过sql操作HDFS上的文件,那就需要将HDFS上的文件作为一张表处理,那就需要有对应关系,表名-->HDF
2021-06-27 00:18:00
826
原创 MapRedece
文章目录MapRedecu代码MapReduce作业中Map,Reduce的一些细节问题Job作业的原理分析MapRedecu代码pom<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <!--版本号根据自己使用的hadoop自己去maven仓库找对应的坐标,下面一样--> &
2021-06-21 22:19:55
279
原创 java代码借助插件生成组织架构图并实现导出功能
先说一下需求,前几天产品提出了一个很(恶)好(心)的需求,将组织机构生成架构图并且能导出,数据如下:其实就是有父子关系的数据而已,因为是Java项目且使用的前端是jsp,而博主对前端又不是那么精通,平时都是粘贴复制修改而已,在已知功能中是没办法实现的。木得办法,只能看网上是否有第三方插件能实现此功能了,在找了1天后,终于还是找到了实现的方法。话不多说,下面说实现方法:orgChart:基于ES6的组织结构图插件。下载地址:orgChart下载;可能看其他的博主是gitHub的下载地址,但gitH
2021-03-08 17:32:17
1479
1
原创 No mapping found for HTTP request with URI...
背景:和同事协同开发,他用eclipse提交代码后我拉取完用idea启动就报错,之前代码是一点问题没有的,而且配置文件也基本没改,但就是启动错误:No mapping found for HTTP request with URI [/main/index.do] in DispatcherServlet with name ‘dispatcher’…框架使用的是Spring+SpringMVC曾经也出现过这个问题,然后我用eclipse启动就行,用idea启动就报错,不过曾经时间紧就屈服用ecl
2021-01-29 14:12:02
1089
原创 Apache Hadoop学习
文章目录Hadoop诞生前景大数据(Big Data)面临问题Hadoop诞生Hadoop诞生前景大数据(Big Data)随着信息化互联网|物联网发展要求,万物互联趋势势在必行。随之引发架构的演变由单一架构向高并发分布式架构演变。数据的存储也开始由原始的单机存储演变为分布式存储。高并发互联网设计 LNMP、数据库主从RDBMS|NoSQL、Spring Cloud、Dubbo – 应用架构海量数据存储|数据分析 :存储方案(HDFS)、计算方案(Map Reduce、Storm、Spark、
2020-09-15 13:45:19
1568
原创 jar包在Windows没问题在Linux错误的一次记录
具体是和一个其他项目对接,做验签时,在Windows运行一点问题没有,在Linux就过不去,这个问题找了4天,一直以为是编码问题,最后发现错误如此简单!话不多说,上代码:signdata = signdata.replaceAll("\r\n", "");代码中在返回的数据中做了一个替换,在Windows下替换的是"\r\n",Linux应该是"\n",就这一个错误浪费了3天半的时间!!!...
2020-08-28 09:11:04
547
原创 Java集成editor.md开发markdonw程序使用的坑
记录一次使用editor.md开发markdonw遇到的无形大坑:先说一下前几天的开发需求:需要在页面上实现markdown编辑器,如下图片,其实这也没问题,但是需要富文本和markdon随时切换,这样看似问题也不大,只能说too young,随后切换时就出现了各种错误,这里我只写比较坑爹的地方。这是我参考的博主进行的开发:参考地址 <div id="test-editormd"> <!--该区域内容为文字内容,非html内容--> <textar
2020-08-25 14:48:19
410
2
原创 Notepad++的alt+f窗口恢复位置
今天使用notepad++时不小心把查询窗口拖拽到最下面了,然后再想拖拽过来却点击不到该窗口,百度半天发现最有效的方法:notepad按F12,然后就可以在你最后拖拽的位置看到查询窗口了,这时就可以选择窗口进行拖拽了,亲测最有效,没有之一...
2020-07-23 13:13:43
2342
转载 HBase
文章目录HBaseHbase的引言什么是HBase?NoSQL特点NoSQL分类Hbase存储的逻辑结构HBaseHbase的引言什么是HBase?hbase是Apache 组织开源的顶级项目 distributed, scalable, big data store 产品hbase是基于Hadoop的一个NoSQL产品 Column类型的NoSQLhbase是Google BigTable的开源实现, 爬虫爬取的网页hbase运行亿级数据查询时,效率可达到秒级,毫秒级 在线处理 实时的处理
2020-07-13 10:23:10
804
hdfs文件流封装为压缩流一次读写128K
2022-09-26
文件流copy问题,周五了再问一次
2022-09-09
文件流Copy,进来解释下
2022-09-07
加载hdfs上的jar,并获取所有class信息
2022-07-14
akka下的Response能返回zip文件流吗
2022-01-12
akka通信问题,来人吗。。
2021-12-02
Hdfs上如何通过javaApi读取文件夹中多个块数据
2021-11-23
公司A通过http请求访问公司B的hdfs上的文件数据
2021-11-22
如何通过http请求获取远端Hadoop的文件数据
2021-11-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人