- 博客(45)
- 资源 (1)
- 问答 (6)
- 收藏
- 关注
RSS订阅原创 java枚举中写抽象方法
，然后又定义了一个抽象方法，具体作用是要返回student实体的每个相对应的属性value，所以在NAME、AGE。中要实现这个抽象方法并写具体的业务逻辑，具体使用时就是传入一个student对象，然后枚举中每个value中重写的抽象方法都走一遍。之前写java枚举时，都是中规中矩的写，从来没见过在枚举中写抽象方法的，但最近换了新公司，接手了新项目，发现枚举中竟然写了抽象方法，由于之前没接触过这种写法，所以这里记录下。，由于我这是第一次接触这种写法，所以可能每个人的理解有所不同，如果说错了还请指出。
2023-10-12 11:07:33
381
原创 Mybatis的mapper.xml批量插入、修改sql
帮忙生成了一个批量修改的sql，后续我忘记是不是手动给标签手动加的这个属性，结果报错了，排查了半天这个sql哪里错了，最后还是放到数据库执行了一下看到了错误原因，当时我还让温馨一样帮忙检查了下我修改后的sql，结果还说没sql没问题，只是可能在拼接时报错。要修改的表字段B = case when 表字段 = 实体数据字段 then 实体数据字段 when 表字段 = 实体数据字段 then 实体数据字段 when …end where 条件。
2023-09-13 17:52:09
2788
原创 JsonInclude注解
Java对象中使用JsonInclude注解来标记需要包含在JSON字符串中的属性，为实体类在接口序列化返回值时增加规则的注解。
2023-08-29 23:17:48
409
原创 java8 Optional用法
java.util.Optional 是java8中引进的一个新的类，它可以对可能缺失的值进行建模，而不是直接将null赋值给变量。主要是用来避免空指针异常的提示用户要注意该对象有可能为null简化if else代码。
2023-08-29 22:22:59
195
原创 hdfs启动报错failed to stat a path component: ‘/var/run/hadoop-hdfs‘
hadoop启动报错failed to stat a path component: '/var/run/hadoop-hdfs'
2022-09-26 16:39:19
595
原创 Mysql5.7版本字段为json类型读取时中文乱码
Mysql5.7版本字段类型为json使用mybatis读取不乱码，使用其他方式读取乱码问题
2022-09-21 13:54:51
1634
原创 Spark操作Ceph
文章目录前言Ceph集群安装ceph部分组件介绍主机和每台机器安装的组件和启动的服务集群安装步骤1.机器环境准备2.安装ceph组件3.ceph的存储命令Spark操作cephceph-radosgw安装spark通过radosgw服务对ceph进行读写前言通过spark操作ceph（读/写操作），在操作之前，我是连ceph是什么都不知道的，因此这篇文章也是在我简单了解ceph后写的，可能有不足之处，请指教；spark是不能很好的和ceph对接的；虽然ceph提供的有api，但把数据读出来后，在转为r
2022-04-21 23:24:10
2314
1
原创 SparkDataFrame操作OpenLooKeng
文章目录前言openLooKeng介绍SparkDataFrame读取openLooKeng前言前几天领导让用spark集成openLooKeng，可能熟悉openLooKeng的朋友知道openLooKeng是个基于sql的计算引擎，并非存储数据的软件；那么有人就会问了，既然你spark是计算引擎，openLooKeng也是计算引擎不存数据，那么为什么还要用spark集成openLooKeng；问就是我负责的项目特殊，领导要求先把项目的生态圈丰富起来！openLooKeng介绍因为要集成openL
2022-04-15 15:14:23
2550
原创 SparkDataFrame操作TDengine
文章目录前言TDengine安装TDengine支持的数据类型SparkDataFrame连接TDengine前言前几天领导让用spark集成TDengine支持读写，没办法只能简单的了解一下TDengine，然后搭建了一个单机版的TDengine测试使用，这里也理解的比较浅显，毕竟时间紧任务重，一切以完成任务为目的。。。TDengine 是一个高效的存储、查询、分析时序大数据的平台，专为物联网、车联网、工业互联网、运维监测等优化而设计。所有安装包地址：https://www.taosdata.co
2022-03-23 18:31:05
3072
原创 SparkDataFrame操作OceanBase
文章目录前言架构集群架构SQL 引擎执行过程前言前几天领导让用spark集成OceanBase支持读写，没办法只能简单的了解一下OceanBase，然后搭建了一个单机版的OceanBase测试使用，这里也理解的比较浅显，毕竟时间紧任务重，一切以完成任务为目的。。。简单的介绍一下OceanBase 吧，大部分都是从官网直接拿过来的OceanBase 数据库是阿里巴巴和蚂蚁集团不基于任何开源产品，完全自研的原生分布式关系数据库软件， 产品具有云原生、强一致性、高度兼容 Oracle/MySQL 等特性
2022-03-23 18:16:12
2797
原创 SparkDataFrame操作TiDB数据
文章目录前言TiDB单机搭建sparkDataFrame连接TiDB前言前几天领导让用spark集成TiDB支持读写，没办法只能简单的了解一下TiDB，然后搭建了一个单机版的TiDB测试使用，这里也理解的比较浅显，毕竟时间紧任务重，一切以完成任务为目的。。。这里也附上几个我开发时用到的一些连接：安装参考视频，安装参考博客，代码参考地址，中文文档地址开发所需pom依赖<dependency> <groupId>mysql</groupId> <
2022-03-23 17:38:33
3989
原创 Mysql/Oracle一些语法
in和exists的区别//inselect * from A where id in(select id from B)以上查询使用了in语句,in()只执行一次,它查出B表中的所有id字段并缓存起来.之后,检查A表的id是否与B表中的id相等,如果相等则将A表的记录加入结果集中,直到遍历完A表的所有记录.它的查询过程类似于以下过程List resultSet=[];Array A=(select * from A); //把A表数据查询出来Array B=(select id from
2022-01-16 18:31:27
490
原创 通过HdfsApi读取hdfs的文件夹下的多个文件
val conf = new Configuration();conf.set("fs.defaultFS", "hdfs://ip:9000")val fs: FileSystem = FileSystem.get(conf);//读取dataCenter文件夹下的文件var inputPath = new Path("/user/dataCenter/")//获取到dataCenter下所有文件的状态//这里不能直接用open(path),会报错：大概意思就是dataCenter是个文件夹,
2021-12-21 17:48:44
1404
原创 Spark Streaming
文章目录Spark Streaming(流处理)快速入门概念介绍Discretized Streams (DStreams)InputStream & ReceiversBasic SourcesQueue of RDDs as a Stream(测试)Advance Source KafkaSpark Stream 算子transform(*func*)UpdateStateByKeymapWithState故障中|重启中恢复状态窗口 - windowOutput Operations(输出)fo
2021-11-07 21:19:00
285
原创 Scala Language
文章目录Scala介绍环境配置常见变量变量声明数值转换Scala介绍Scala是一门多范式的编程语言,同时支持面向对象和面向函数编程风格。它以一种优雅的方式解决现实问题。虽然它是强静态类型的编程语言，但是它强大的类型推断能力，使其看起来就像是一个动态编程语言一样。Scala语言最终会被翻译成java字节码文件，可以无缝的和JVM集成，并且可以使用Scala调用java的代码库。除了Scala编程语言自身的特性以外，目前比较流行的Spark计算框架也是使用Scala语言编写。Spark 和 Scala 能
2021-09-16 13:11:18
376
原创 Apache Storm（Low Level）
文章目录StormStorm概念StormStorm概念Storm是免费开源的分布式实时计算系统，该系统在 2.0.0 之前改架构核心实现使用Clojure编程实现，在本次版本以后Storm底层实现做了重大的调整使用Java8重构了Storm。Storm是一个实时的流处理引擎，能实现对记录的亚秒级的延迟处理。Storm在 realtime analytics、online machine learning、continuous computation、distributed RPC、 ETL等领域都
2021-08-09 23:55:54
275
原创 Kafka Streams
文章目录流计算定义Kafka Stream名词解析架构流计算定义一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高，同时一般是先定义目标计算，然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率，往往尽可能采用增量计算代替全量计算。批量处理模型中，一般先有全量数据集，然后定义计算逻辑，并将计算应用于全量数据。特点是全量计算，并且计
2021-07-30 15:37:07
840
原创 Sqoop工具
文章目录sqoop概念Hadoop(CDH)环境搭建Hive(CDH)环境搭建Sqoop（CDH)环境搭建Sqoop语法详解sqoop概念TODO:后续补充sqoop用于hadoop和传统数据库间的数据传递的工具。此次用到的hadoop是CDH版的，不需要源码编译生成64位的文件，可以省略一些时间。Hadoop(CDH)环境搭建1. ip 主机名 映射 防火墙 selinux jdk ssh 2. hadoop解压缩3. 修改hadoop相关配置文件 hadoop-env.sh
2021-06-29 16:46:41
272
原创 Hive学习
HiveHive引言hive是faceBook开源，并捐献给了apache组织，作为apache的顶级项目项目。 地址：hive.apache.org。hive是一个基于大数据的数据仓库技术(DataWareHouse，简称数仓)，底层依附HDFS、MapReducehive的好处：书写sql语句，由hive把sql转换为MapReduce，简化开发hive的运行原理：hive通过sql操作HDFS上的文件，那就需要将HDFS上的文件作为一张表处理，那就需要有对应关系，表名-->HDF
2021-06-27 00:18:00
328
原创 MapRedece
文章目录MapRedecu代码MapReduce作业中Map,Reduce的一些细节问题Job作业的原理分析MapRedecu代码pom<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <!--版本号根据自己使用的hadoop自己去maven仓库找对应的坐标，下面一样--> &
2021-06-21 22:19:55
240
原创 java代码借助插件生成组织架构图并实现导出功能
先说一下需求，前几天产品提出了一个很（恶）好（心）的需求，将组织机构生成架构图并且能导出，数据如下：其实就是有父子关系的数据而已，因为是Java项目且使用的前端是jsp，而博主对前端又不是那么精通，平时都是粘贴复制修改而已，在已知功能中是没办法实现的。木得办法，只能看网上是否有第三方插件能实现此功能了，在找了1天后，终于还是找到了实现的方法。话不多说，下面说实现方法：orgChart：基于ES6的组织结构图插件。下载地址：orgChart下载；可能看其他的博主是gitHub的下载地址，但gitH
2021-03-08 17:32:17
1385
1
原创 No mapping found for HTTP request with URI...
背景：和同事协同开发，他用eclipse提交代码后我拉取完用idea启动就报错，之前代码是一点问题没有的，而且配置文件也基本没改，但就是启动错误：No mapping found for HTTP request with URI [/main/index.do] in DispatcherServlet with name ‘dispatcher’…框架使用的是Spring+SpringMVC曾经也出现过这个问题，然后我用eclipse启动就行，用idea启动就报错，不过曾经时间紧就屈服用ecl
2021-01-29 14:12:02
1030
原创 Apache Hadoop学习
文章目录Hadoop诞生前景大数据(Big Data)面临问题Hadoop诞生Hadoop诞生前景大数据(Big Data)随着信息化互联网|物联网发展要求，万物互联趋势势在必行。随之引发架构的演变由单一架构向高并发分布式架构演变。数据的存储也开始由原始的单机存储演变为分布式存储。高并发互联网设计 LNMP、数据库主从RDBMS|NoSQL、Spring Cloud、Dubbo – 应用架构海量数据存储|数据分析 ：存储方案（HDFS）、计算方案（Map Reduce、Storm、Spark、
2020-09-15 13:45:19
1216
原创 jar包在Windows没问题在Linux错误的一次记录
具体是和一个其他项目对接，做验签时，在Windows运行一点问题没有，在Linux就过不去，这个问题找了4天，一直以为是编码问题，最后发现错误如此简单！话不多说，上代码:signdata = signdata.replaceAll("\r\n", "");代码中在返回的数据中做了一个替换，在Windows下替换的是"\r\n"，Linux应该是"\n"，就这一个错误浪费了3天半的时间！！！...
2020-08-28 09:11:04
494
原创 Java集成editor.md开发markdonw程序使用的坑
记录一次使用editor.md开发markdonw遇到的无形大坑：先说一下前几天的开发需求：需要在页面上实现markdown编辑器，如下图片，其实这也没问题，但是需要富文本和markdon随时切换，这样看似问题也不大，只能说too young，随后切换时就出现了各种错误，这里我只写比较坑爹的地方。这是我参考的博主进行的开发：参考地址 <div id="test-editormd"> <!--该区域内容为文字内容，非html内容--> <textar
2020-08-25 14:48:19
382
2
原创 Notepad++的alt+f窗口恢复位置
今天使用notepad++时不小心把查询窗口拖拽到最下面了，然后再想拖拽过来却点击不到该窗口，百度半天发现最有效的方法：notepad按F12，然后就可以在你最后拖拽的位置看到查询窗口了，这时就可以选择窗口进行拖拽了，亲测最有效，没有之一...
2020-07-23 13:13:43
2181
转载 HBase
文章目录HBaseHbase的引言什么是HBase？NoSQL特点NoSQL分类Hbase存储的逻辑结构HBaseHbase的引言什么是HBase？hbase是Apache 组织开源的顶级项目 distributed, scalable, big data store 产品hbase是基于Hadoop的一个NoSQL产品 Column类型的NoSQLhbase是Google BigTable的开源实现, 爬虫爬取的网页hbase运行亿级数据查询时，效率可达到秒级，毫秒级 在线处理 实时的处理
2020-07-13 10:23:10
356
原创 Maven相关
Mavendependencies与dependencyManagement的区别:Maven使用dependencyManagement元素来提供了一种管理依赖版本号的方式，通常会在一个组织或者项目的最顶层的父pom中看见dependencyManagement元素。使用pom.xml中的dependencyManagement元素能让所有在子项目中引用一个依赖而不用显式的列出版本号。Ma...
2020-06-12 10:11:57
321
原创 ElasticSearch学习
ElasticSearchElasticSearch:简称为ES，基于Lucene全文检索引擎服务，支持分布式集群（数据横向扩展、分布式计算）应用场景：1. 全文检索或者搜索服务 2. NOSQL数据库(ES中的数据单元为JSON) 3. ELK数据分析平台NRT (near real time) 接近实时 ES中的一条数据写入后大概会有1s的延迟才能被检索到9300端口:Es节点之间通讯...
2020-06-11 14:57:21
594
原创 Ribbon(负载均衡)和OpenFeign
Ribbon和OpenFeignSpring Cloud Ribbon 是 Netflix Ribbon 实现的一套客户端 负载均衡工具简单的说，Ribbon 是 Netflix 发布的开源项目，主要功能是提供 客户端的软件负载均衡算法和服务调用。 Ribbon 客户端组件提供一系列完善的配置项如超时、重试等。简单的说，就是配置文件中列出 load Balancer （简称 LB）后面所有的机器，Ribbon 会自动的帮助你基于某种规则（如简单轮询，随机链接等）去链接这些机器。我们很容易使用 Ribb
2020-06-10 10:33:10
634
原创 SpringCloud学习之Eureka、Zookeeper、Consul注册中心
SpringCloudSpring cloud是一个基于Spring Boot实现的服务治理工具包，在微服务架构中用于管理和协调服务的微服务：是一种架构模式，它提倡将单一应用程序划分成一组小的服务，服务之间互相协调，互相配合，为用户提供最终价值。每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相协作（通常是基于HTTP协议的RESTful API）。每个服务都围绕着基本业务进行...
2020-05-28 10:11:24
1233
1
原创 Apache Spark
文章目录Spark诞生spark背景介绍计算流程Spark诞生spark背景介绍Spark 是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark 扩展了广泛使用的 MapReduce 计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。在处理大规模数据集时，速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作，否则我们每次操作就需要等待数分钟甚至数小时。Spark 的一个主要特点就是能够在内存中进行计算，因而更快。不过即使是必须在磁盘上进行的复杂计算，Spark 依然
2020-05-27 10:06:19
1649
1
hdfs文件流封装为压缩流一次读写128K
2022-09-26
文件流copy问题，周五了再问一次
2022-09-09
文件流Copy，进来解释下
2022-09-07
加载hdfs上的jar，并获取所有class信息
2022-07-14
akka下的Response能返回zip文件流吗
2022-01-12
akka通信问题，来人吗。。
2021-12-02
Hdfs上如何通过javaApi读取文件夹中多个块数据
2021-11-23
公司A通过http请求访问公司B的hdfs上的文件数据
2021-11-22
如何通过http请求获取远端Hadoop的文件数据
2021-11-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人