钟晚语夕的专栏

使用 Docker Compose 搭建 Redis 集群是一种便捷高效的方法，可以快速地在本地或者测试环境中搭建一个 Redis 集群。以下是详细的步骤，在 Docker 环境中使用 docker-compose 来搭建 Redis 集群。通过上述步骤，我们已经使用 Docker Compose 成功搭建了一个 Redis 集群。这种方式特别适合用于开发和测试环境，因为它的配置简单、部署快速，非常适合本地或测试环境中进行集群架构的模拟和验证。

在Java中实现多数据源的场景比较常见，尤其是在大型企业级应用中。通常，这种需求来源于业务系统的复杂性，例如需要访问多个不同的数据库或者实现读写分离。在Java中，特别是使用Spring框架时，实现多数据源有多种方法。

解决springboot 中文名文件下载

elasticsearch 集群搭建 + kibana配置一、elasticsearch 集群搭建1、下载并解压elasticsearch2、ES集群搭建2.1 打开防火墙9200,9300端口2.2 在每个节点中设置证书密码2.3 配置elasticsearch登录密码2.4 配置HTTP层TLS/SSL加密传输3、kibana安装一、elasticsearch 集群搭建1、下载并解压elasticsearch   选择合适的elasticsearch版本下载，这里我们选择elasticsearch

文件上传   将文件上传至服务器，然后通过nginx访问   其中localPath是服务器上文件保存地址，serverIp是文件访问路径public static String upload(HttpServletRequest request, MultipartFile file, String localPath, String serverIp,Long fileNameCode)...

一、pom文件jar包引入 <!--cxf引入--> <dependency> <groupId>org.apache.cxf</groupId> <artifactId>cxf-spring-boot-starter-jaxws</artifactId> <version>3.2.4</ve...

一、概述   因为项目需要，需要再原先项目中发布或者调用WebService服务，考虑到集成Springboot框架，于是采用CXF框架。   WebService注册服务如下：@Configurationpublic class CxfWebServiceConfig {// @Autowired// private Bus bus;// @Autowired...

1 RDD基础知识1.1 Spark的RDD五大特性1.1.1 A list of partitions  RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。   对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片...

                                          

一、log4j配置依赖包引入<dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender</artifactId> <version>1...

一、Hive配置（一）、简介   一般的公司都会有自己的数据仓库，而大多数都选择的Hive数据仓库，总所周知hive默认使用MapReduce来进行数据操作，MapReduce在计算过程中会涉及数量巨大的网络传输，这需要耗费大量的时间，在计算过程中会反复读写磁盘，极其耗时，因此使用spark来计算可以提高效率，但是之前有很多数据都是通过hive来操作，好在spark可以无缝集成hive，使用h...

一、当需保存各字段确定时   在spark官方文档上给出了几种保存数据至数据库的方式，在字段确定时使用非常方便，代码如下:## 读取数据val jdbcDF = spark.read .format("jdbc") .option("url", "jdbc:postgresql:dbserver") .option("dbtable", "schema.tablename")...

一、使用反射的方式   这种方式是使用反射的方式，用反射去推倒出来RDD里面的schema，也就是根据包括case class数据的RDD转换成DataFrame，这个方式简单，在已知schema的时候非常方便def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("TopNStat...

   在springboot中打完jar包，jar包中包含工具类，自定义注解等，但是在其他项目中通过pom文件导入时，虽然能够导入成功，但是无法在代码中import相关的类。查阅相关资料得知，是打包插件的原因，springboot项目中自带的maven插件所打的jar不能引入，换成普通的maven插件即可   springboot中的maven插件如下<build> <p...

   业务需求需要将http请求参数与返回值采集，考虑使用AOP形式，获取到请求值与返回值之后将数据封装为json字符串发送到rabbitMQ中，消费者消费数据后将处理后的数据保存至mongodb或其他数据库中，以下为设置代码构建：自定义注解@Target({ElementType.PARAMETER, ElementType.METHOD})@Retention(RetentionPoli...

生产者1、pom文件中引入相关的包&amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;org.springframework.boot&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;spring-boot-starter-web&amp;lt;/artifactId&amp;gt; &amp;lt;/dep

首先准备三个表的数据student表—学生基本信息   新建一个student.txt文件，增加如下内容：95001,李勇,男,20,CS95002,刘晨,女,19,IS95003,王敏,女,22,MA95004,张立,男,19,IS95005,刘刚,男,18,MA95006,孙庆,男,23,CS95007,易思玲,女,19,MA95008,李娜,女,18,CS95009,梦...

hive配置后无法正常启动解决步骤1.修改core-site.xml   core-site.xml增加如下内容:&lt;property&gt; &lt;name&gt;hadoop.proxyuser.root.hosts&lt;/name&gt; &lt;value&gt;*&lt;/value&gt;&lt;/property&gt;&lt;pr...

spark常用的启动方式一、Local(本地模式)   Spark单机运行，一般用于开发测试。可以通过Local[N]来设置，其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。spark-submit 和 spark-submit --master local 效果是一样的，同理spark-shell 和 spark-shell --...

一、概念简介   Zookeeper是一个分布式协调服务，就是为用户的分布式应用程序提供协调服务A、zookeeper是为别的分布式程序服务的B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……D、虽然说可以提供各种服务，但是zookee...