滴水穿石的博客

每一个Spring Boot项目都有一个全局配置文件，application.properties或者application.yml，我们可以通过代码，来改变Spring Boot的默认配置。要明白每个配置的作用，以及如何进行配置，可以通过官方文档来进行查看。官方示例如下：常见配置说明Spring Boot在启动的时候会加载主配置类，即被@SpringBootApplication标记的类，...

Spring Boot项目启动时，会扫描以下位置的application.properties或者application.yml文件作为Spring Boot的默认配置文件。file:./config/ (根目录下的config目录)file:./(根目录下)classpath:./config/(类路径下的config目录)classpath:./(类路径下的，即默认的配置文件)以上是...

一、Spring Web MVC注解1.1 @RequestMapping@RequestMapping注解的主要用途是将Web请求与请求处理类中的方法进行映射。SpringMVC通过RequestMappingHandlerMapping和RequestMappingHandlerAdapter两个类来提供对@RequestMapping注解的支持。@RequestMapping注解对请...

一、使用Spring Initializr创建项目web项目①File→New→Project②点击Next如图所示，命名好Group和Artifact③Next后如图所示，勾选中需要的依赖，Spring Initializr会自动导入所需的starter④创建项目成功后，pom.xml文件中的依赖如下在这里插入代码片...

一、JSR107缓存规范为了缓存开发规范的统一，以及提升系统的扩展性，J2EE发布了JSR107缓存规范。主要是Java Caching定义了5个接口，分别是CachingProvider、CacheManager、Cache、Entry、Expiry。CachingProvider：可以创建、配置、获取、管理和控制多个CacheManager，一个Application在运行期间可以访问...

一、镜像操作1）检索docker search 关键字。一般不根据检索的结果进行拉取，而是在DockerHub上进行搜索。docker search redis2）拉取docker pull 镜像名:tag(tag是可选的，tag表示标签，多为软件的版本，默认是latest)docker pull mysql:5.73）列表(查看本地所有镜像)docker images4）...

一、Docker安装1. 查看CentOs版本uname -r# Dcoker要求CentOs系统的内核版本高于3.102. 升级内核(非必须)yum update3. 安装Docker# 默认会下载最新版的Dockeryum install docker4. 启动Dockeryum install docker如果启动过程中没有报错，说明Docker安装启动完成，可...

什么是HBase？

一、什么是Kafka？Kafka是个分布式流处理平台，也可以称之为消息队列。Kafka可以进行简单的数据处理。二、Kafka特点：Kafka采用的是生产者与消费者模式。消费者在消费完每一条数据以后，Kafka中的数据不会丢失。但是这种情况会导致磁盘溢出，因此推出了数据有效期这一机制。这一特点的好处：计算容错率高，假如数据处理失败，还可以重新从kafka中读取过来。允许高并发的情况...

常用算子1、MapPartition2、Map3、MapPartitionWithIndex4、getNumPartitions5、coalesce6、union7、zip8、zipWitIndex9、zipWithUniqueId10、take(n)11、first12、combineByKey1、MapPartition遍历的单位是每一个partition。遍历原理：将每一个partit...

一、Beenline之前在操作hive的是，直接通过hive命令进入hive cli进行数据分析以及处理，这种方式既不安全有不规范beeline是一个新兴的cli客户端 类似jdbc/odbc 可以解决一切的问题，并且还能够很好的解耦合hive client直接连接HDFS、yarnbeeline需要先与thriftserver连接，thriftserver能够进行安全认证、可靠认证、...

文章目录资源调度结论：1、默认情况下，每一个Worker会为当前的Application启动一个Executor进程，并且这个Executor会使用1G内存和当前Worker所能管理的所有core。2、如果想要在一个Worker上启动多个Executor，可以在提交Application的时候，指定Executor使用的core数，命令为：spark -submit --executor-c...

Spark集群一、Spark集群的四种运行模式二、基于Standalone的Spark集群搭建三、基于Standalone的高可用Spark集群搭建一、Spark集群的四种运行模式1、Local单机运行，一般用于开发测试。2、YarnSpark客户端直接连接Yarn，不需要额外构建Spark集群。3、Standalone构建一个由Master+Worker构成的Spark集群，Spa...

Hive一、Hive简介？二、Hive的结构三、Hive的原理四、Hive的数据管理五、Hive的调优六、Hive环境搭建和部署一、Hive简介？hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必...

Hive三种搭建方式一、Local本地（derby）元数据库derby与工具都是在本地只需将压缩包解压，在hive-site.xml做以下配置（将原信息删除）注：需要将hive-site.xml.template更名为hive-site.xmlmv hive-default.xml.template hive-site.xml<?xml version="1.0"?&

文章目录一、什么是Spark二、RDD的五大特性三、解释RDD的五大特性一、什么是SparkApache Spark是一个开源的分布式计算框架，用于处理大规模的数据。旨在快速进行数据分析、快速运行和快速开发。Spark不是由一个人开发的，而是诞生于美国加州大学伯克利分校的AMP实验室。于2010年开放源码，2012年发布了0.6.0版本，距今已有6年历史，最新版本为2.4.0。开发Spark...

文章目录一、什么是Spark Shuffle？二、HashShuffle运行原理三、Shuffle可能面临的问题？四、如何优化解决问题？五、SortShuffle运行原理一、什么是Spark Shuffle？1、Shuffle中文意思就是“洗牌”，在Spark中Shuffle的目的是为了保证每一个key所对应的value都会汇聚到同一个节点上去处理和聚合。2、在Spark中，什么情况下会发生...

一、集群搭建一、集群规划 主机名 IP地址 NN-1 NN-2 DN ZK ZKFC JNN RS NameNode ...

一、Scala简介Scala是将面向对象和面向函数式整合在一起，基于JVM的编程语言。它由Martin Odersk于2001开发，2004年开始运行在JVM与.Net平台之上，由于其简洁、优雅、类型安全的编程模式而受到关注。Scala六个特征：Java和scala可以无缝混编(因为都是基于JVM的编程语言)类型推测(自动推测类型)并发和分布式（Actor）特质trait，特征(整合...