![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
JAVA知识
文章平均质量分 51
java知识
爱上雪茄
专注于电商,saas平台,物联网,大数据,LLM
展开
-
java多线程部分知识整理
程序:是为完成特定任务,用某种语言编写的一组指令的集合,即指一段静态的代码,静态对象。进程:是程序的一次执行过程,或是正在运行的一个程序,是一个动态的过程,有它自身的产生,存在和消亡的过程。-------生命周期线程:进程可进一步细化为线程,是一个程序内部的一条执行路径原创 2023-12-01 19:10:20 · 55 阅读 · 0 评论 -
SpringBoot引入sleuth做链路追踪
sleuth 是一个分布式跟踪系统,用于跟踪应用程序中的请求和操作。引入该依赖后,日志中会自动添加(traceid,spanid),但是。五、启动Application应用查看traceId信息。这样springboot就成功引入sleuth入了。sleuth也可以在SpringBoot中单独使用。四、application.yml的修改。一、sleuth介绍。原创 2023-11-26 12:49:29 · 285 阅读 · 0 评论 -
skywalking 9.0.0开启自监控和配置集群
3.1、修改第一台服务器的application.yml。3.3、修改第二台服务器的application.yml。3.2、修改第一台服务器的webapp.yml。3.4、修改第二台服务器的webapp.yml。3.5、修改cluster,采用nacos集群。二、Skywalking支持的集群模式如下。4.2、配置 skywalking。三、Skywalking集群配置。4.1、启动prometheus。四、skywalking自监控。一、skywalking介绍。3.6、查看nacos。原创 2023-11-26 00:34:58 · 724 阅读 · 0 评论 -
SkyWalking 9.0.0在SpingBoot和SpringCloud中的应用
SkyWalking 是一个开源的可观测平台,用于收集、分析、聚合和可视化来自服务和云原生基础设施的数据。它是一种现代 APM(application performance monitor),专为云原生、基于容器的分布式系统而设计。这里采用的是mysql数据库,也可以选择其他数据库,需要拷贝对应的驱动进去,例如mysql,就拷贝mysql-connector-j-8.0.33.jar到apache-skywalking-apm-bin\oap-libs目录中。3.3、启动skywalking。原创 2023-11-25 23:26:16 · 376 阅读 · 0 评论 -
springcloud结合链路追踪工具之Zipkin,sleuth
Spring Cloud Sleuth提供了一套完整的服务跟踪的解决方案。它会将服务与服务之间的调用给记录起来。可以快速的知道调用 用户服务,到底涉及到了哪些微服务,方便我们快速排查问题!1.2、Zipkin 是一个分布式链路追踪系统。它有助于收集解决服务架构中的延迟问题所需的时间数据。2.1、下载zipkin-server-2.24.3-exec.jar后直接启动。1.4、zipkin源码下载地址。1.5、zipkin服务下载地址。二、 Zipkin服务启动。一、介绍Zipkin。原创 2023-11-25 17:39:58 · 67 阅读 · 0 评论 -
fastdfs-6.10.0安装
FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标。使用FastDFS能够很容易搭建出一套高性能的文件服务器集群,实现文件上传、下载等服务。3.6、安装fastdfs-6.10.0.tar.gz。3.4、安装libfastcommon-1.0.70。3.5、安装libserverframe-1.2.0。3.1、安装gcc,gcc-c++二、fastdfs软件下载。四、修改fastdfs配置。一、fastdfs介绍。五、启动fastdfs。原创 2023-11-20 21:52:36 · 229 阅读 · 0 评论 -
通过代码启动dolphinscheduler-3.2.0单机版
DolphinScheduler 是一个分布式的开源调度系统,它提供了一种可视化、可扩展、高可用的任务调度和数据处理方案。进入dolphinscheduler-ui,执行npm install,执行完成之后,通过npm run dev启动ui。进入dolphinscheduler-standalone-server代码启动StandaloneServer。一、apache-dolphinscheduler介绍。3.1、启动dolphinscheduler单机版。三、启动dolphinscheduler。原创 2023-11-17 09:05:32 · 173 阅读 · 0 评论 -
apache-dolphinscheduler-3.2.0集群部署
DolphinScheduler 是一个分布式的开源调度系统,它提供了一种可视化、可扩展、高可用的任务调度和数据处理方案。3.2、修改dolphinscheduler_env.sh配置。一、apache-dolphinscheduler介绍。三、apache-dolphinscheduler配置。四、apache-dolphinscheduler安装。3.1、修改install_env.sh配置。4.2、执行stop-all.sh。4.1、执行install.sh。4.8、node4节点。原创 2023-11-17 08:50:20 · 789 阅读 · 1 评论 -
apache-dolphinscheduler-3.2.0 单机启动及改为mysql存储
DolphinScheduler 是一个分布式的开源调度系统,它提供了一种可视化、可扩展、高可用的任务调度和数据处理方案。2.1、下载apache-dolphinscheduler。2.3、dolphinscheduler_env.sh配置。一、apache-dolphinscheduler介绍。二、apache-dolphinscheduler配置。3.1、启动dolphinscheduler。3.3、访问dolphinscheduler。三、dolphinscheduler操作。2.2、H2配置文件。原创 2023-11-17 08:09:24 · 907 阅读 · 1 评论 -
datax操作
DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。二、datax框架设计。原创 2023-11-13 00:19:10 · 156 阅读 · 0 评论 -
在linux安装hadoop集群下执行hive任务
三、上面是安装hadoop集群和hive的方法。这样就可以看到在hadoop上执行的任务了。4.6、hadoop查看任务。一、安装hadoop。4.4、执行统计任务。原创 2023-11-12 02:06:45 · 61 阅读 · 0 评论 -
在linux上部署hadoop-3.3.6,hbase-2.5.6 ,apache-zookeeper-3.8.1集群
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)HBase是一个分布式、可扩展、支持海量数据存储的NoSQL数据库。底层物理存储是以Key-Value的数据格式存储的,HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。一、hadoop介绍。原创 2023-11-12 00:33:23 · 241 阅读 · 0 评论 -
在linux下hadoop集群 DataNode不能启动的情况
注意:服务器的时间需要统一。正常情况下是不允许多次格式化的。这只是在测试环境上才可以这样玩。生产环境需要把VERSION里面的数据拷贝到datanode里面.正常启动后是这样的。最后重启把namenode和datanode里面数据删除掉。重新格式化,再启动hadoop集群,就解决了。这里也没有节点数据,而是空的,这个图是正常的。找了很久原因,发现是datanode没有启动。一、格式化文件之后,重新启动hadoop集群,发现 DataNode不能启动了。原创 2023-11-11 17:25:17 · 415 阅读 · 0 评论 -
在linux下hadoop 3.3.6部署集群
Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)6.1、在主节点启动hdfs,./start-dfs.sh。6.2、在主节点启动yarn,./start-yarn.sh。6.4、在node2节点jps查看。6.5、在node3节点jps查看。4.2、在hadoop创建目录。6.3、在主节点jps查看。一、hadoop介绍。六、hadoop启动。七、查看hadoop。原创 2023-11-11 16:04:46 · 300 阅读 · 0 评论 -
linux下spark和hadoop结合,单机版
3.2、修改spark-defaults.conf。3.1、修改spark-env.sh。结合hadoop执行任务。一、安装hadoop。三、修spark配置。原创 2023-11-10 18:01:23 · 75 阅读 · 0 评论 -
linux下spark做集群
是一种通用的大数据计算框架, 正如传统大数据技术Hadoop的MapReduce、 Hive引擎, 以及Storm流式实时计算引擎等. Spark主要用于大数据的计算。进入/usr/local/bigdata/spark-3.5.0-bin-hadoop3/sbin中执行 ./start-all.sh。3、拷贝spark-defaults.conf。四、把配置好的spark拷贝到其他。1、拷贝spark-env.sh。三、spark配置文件的修改。六、查看启动成功后的界面。二、服务器及环境准备。原创 2023-11-10 15:28:38 · 146 阅读 · 0 评论 -
linux安装单机版spark3.5.0
是一种通用的大数据计算框架, 正如传统大数据技术Hadoop的MapReduce、 Hive引擎, 以及Storm流式实时计算引擎等. Spark主要用于大数据的计算。直接进入bin里面,启动./spark-shell。在配置spark之前,需要安装scala。三、spark环境变量配置。原创 2023-11-10 15:21:35 · 401 阅读 · 0 评论 -
linux下安装flink 1.18集群
Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。四、在flink下面创建logs,data,在data下面创建zk和tmp。五、修改 flink-conf.yaml配置文件。原创 2023-11-10 14:09:03 · 610 阅读 · 0 评论 -
linux下安装flink 1.18
Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。进入flink的bin下面,输入./start-cluster.sh 就启动了。在flink下面创建data,在data下面创建zk和tmp。远程就可以访问了,访问地址是http://ip:8081。3.3、配置flink-conf.yaml。3.1、配置环境变量。原创 2023-11-10 12:04:50 · 532 阅读 · 0 评论 -
在linux安装hive
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能(HQL)。在启动hive之前,需要先启动hadoop,安装和启动hadoop参考以下文章。在hive/bin下面输入./hive start启动,启动成功后的界面。6.1、jdk版本,需要1.8,高于1.8会有兼容性问题。4.2、hive-site.xml文件配置。6.2、与hadoop的版本也有关联关系。三、jdk和hive环境变量配置。四、hive内部文件配置。六、hive注意事项。原创 2023-11-10 10:38:25 · 134 阅读 · 0 评论 -
在linux上配置单机版的hadoop-3.3.6与hbase-2.5.6【hbase结合hadoop保姆级教程】
一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。一个分布式的、面向列的开源数据库。七、启动hadoop和启动hbase。六、修改hbase里面的配置。1、hadoop是什么。2、hbase是什么。四、安装hadoop。原创 2023-11-10 09:17:04 · 517 阅读 · 0 评论 -
在linux上脱离hadoop安装hbase-2.5.6集群
4.1、在hbase下创建logs,data,/data/root,/data/tmp, /data/zk。2、每台服务器都配置zookeeper,并且启动zookeeper集群。6.2、进入hbase/bin启动hbase。五、把hbase-2.5.6拷贝到其他节点。4.3、修改hbase-site.xml。4.2、修改hbase-env.sh。3、每台服务器配置hbase环境变量。1、每台服务器都配置jdk环境变量。6.3、把其他hbase依次启动。四、修改hbase配置。原创 2023-11-09 19:54:49 · 291 阅读 · 0 评论 -
在linux上部署apache-zookeeper-3.8.1集群
3.1、在apache-zookeeper-3.8.1/conf下,复制一份zoo_sample.cfg,改名为zoo.cfg。3.3、启动zookeeper之后,就可以通过 ./zkCli.sh 进入zookeeper管理台。在每台服务器上的zookeeper的data目录下都创建myid,并且输入编号1,2,3等数字。4.2、启动在zookeeper/bin目录下启动zookeeper。在zookeeper的/bin下面启动zookeeper。这样就可以启动单机版的zookeeper。原创 2023-11-09 19:17:21 · 259 阅读 · 0 评论 -
在linux上脱离hadoop安装hbase-2.5.6
在linux下,可以通过命令进入hbase控制台,在bin下输入./hbase shell。四、修改hbase-env.sh和hbase-site.xml。进入hbase/bin中执行命令启动hbase。二、把下载好的hbase文件存放在某个目录。三、配置好jdk和hbase的环境变量。这样hbase 2.5.6就启动成功.然后远程访问hbase管理界面。一、下载hbase2.5.6。原创 2023-11-09 17:35:04 · 100 阅读 · 0 评论 -
在windows10脱离hadoop独立安装hbase-2.5.6
这样我们就不需要启动hadoop,其实hbase底层是依托hdfs的,但是hbase底层有个小型的hdfs。所以不需要启动hadoop,但是生产中,不要这样做。五、启动hbase,启动start-hbase.cmd。我们可以查看web端,说明启动成功了。四、配置hbase-site.xml。三、配置hbase-env.cmd。原创 2023-11-09 16:05:37 · 283 阅读 · 1 评论 -
window10单机部署hbase-2.5.5-hadoop3
hbase是什么,Hbase是一个分布式,可扩展,支持海量数据存储的noSQL数据库。进入hbase里面的bin中执行start-hbase.cmd。在hbase-env.cmd添加如下配置。修改hbase-site.xml配置。三、配置hbase环境变量。三、修改hbase配置文件。这里就可以看到启动成功了。四、启动hadoop。在浏览器中输入地址,原创 2023-11-09 03:26:57 · 610 阅读 · 1 评论 -
在windows10上安装apache-hive-3.1.3
基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行,hive 是一种底层封装了Hadoop 的数据仓库处理工具,使用类SQL 的hiveSQL 语言实现数据查询。然后再hive的bin目录下执行hive.cmd start。启动hive,在hive的bin下面执行hive.cmd start。原创 2023-11-09 01:35:35 · 595 阅读 · 1 评论 -
在Windows 10上安装单机版的Spark
Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。是专门为大数据处理而设计的通用的计算引擎。在浏览器中输入下面的url就可以看到对应启动的界面,执行任务的时候可以看到任务作业。在spark的bin下面执行spark-shell.cmd。配置scala的环境变量,在path中输入对应的地址。配置完成环境变量之后,就可以启动spark了。四、下载Spark,我们在清华的镜像网站下载。二、Spark需要运行的环境。配置spark的环境变量。一、Spark是什么。原创 2023-11-09 00:54:31 · 474 阅读 · 1 评论 -
SpringBoot实现mysql与clickhouse多数据源
一、我们来实现一个mysql与clickhouse多数据源配置。五、ClickHouseJdbcParamConfig。四、MysqlJdbcParamConfig。六、ClickHouseConfig。三、MysqlDuridConfig。七、启动类Application。原创 2023-11-08 21:41:53 · 885 阅读 · 1 评论 -
clickhouse通过java jdbc实现批量操作
1.7、开始编写jdbc操作批量操作clickhouse的ClickhouseBatchDemo。1.2、注意,httpclient5-fluent和httpclient5必须引入,否则会报错。1.5、编写一个ClickHouseConnectionSettings枚举。1.3、编写一个DriverPropertyCreator 驱动接口。1.4、编写一个ClickHouseQueryParam枚举。1.6、编写一个ClickHouseProperties类。原创 2023-11-08 20:10:31 · 1129 阅读 · 1 评论 -
采用springboot 2.7.10来操作clickhouse
1、采用springboot与clickhouse结合,其实和操作mysql,oracle区别不大。数据对应上了,springboot与clickhouse集成成功。5、application-mybatis.yml配置。4、application.yml配置。3、项目的pom.xml文件。原创 2023-11-08 21:28:22 · 350 阅读 · 1 评论 -
Pulsar可视化部署工具Pulsar-Manager
五、把将dist包拷贝到pulsar-manager/bin目录下并更名为ui。1、需要用jdk8或者jdk11,不能用jdk17或者21。四、再次解压缩pulsar-manager.tar。这里需要注意:需要把ui拷贝到bin的目录下才可以。用户名/密码:pulsar/pulsar。三、解压缩pulsar-manager。二、下载Pulsar-Manager。六、启动pulsar-manager。八、访问pulsar manager。七、初始化超级用户密码。原创 2023-11-03 21:10:16 · 596 阅读 · 0 评论 -
pulsar 3.2.0 的集群配置
这里需要加一个admin.enableServer=false或者替换成其他端口,默认是8080,不修改的话,会导致Broker启动不了。1、最少需要3台服务器,ZooKeeper 集群、Bookkeeper 集群和 Broker 集群。6、其他node2,node3同样的配置,对应的地址改为node2或者node3。4、修改bookkeeper.conf配置(node1节点)5、修改broker.conf配置(node1节点)7、初始化集群元数据(只需执行一次)3、配置zookeeper集群。原创 2023-11-03 19:24:46 · 115 阅读 · 0 评论