<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lpp_dd的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/lpp_dd</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; lpp_dd]]></copyright><item><title><![CDATA[Mysql的CommunicationsException]]></title><link>https://blog.csdn.net/lpp_dd/article/details/143027107</link><guid>https://blog.csdn.net/lpp_dd/article/details/143027107</guid><author>lpp_dd</author><pubDate>Thu, 17 Oct 2024 20:47:48 +0800</pubDate><description><![CDATA[应用服务基于数据库连接池和数据库之间建立的连接，存在心跳检测和存活状态检测，无论是客户端还是Mysql服务端都会在检测失败之后将连接关闭。如果此时有请求进来并获取连接时，如果获取的是无效的连接，将会基于CommunicationsException异常报错提示出来。就像上面说的，如果每次获取连接时都进行有效性检测，将会带来性能的消耗，本身连接池就是提效的，每次都检查，性能必然有下降。的配置项，启用后，在连接断开时，会自动重新连接数据库，这样可以避免因为连接超时导致的错误。默认通常是 8 小时。]]></description><category></category></item><item><title><![CDATA[HTTP2简介]]></title><link>https://blog.csdn.net/lpp_dd/article/details/126054897</link><guid>https://blog.csdn.net/lpp_dd/article/details/126054897</guid><author>lpp_dd</author><pubDate>Fri, 29 Jul 2022 14:22:10 +0800</pubDate><description><![CDATA[http2简介]]></description><category></category></item><item><title><![CDATA[springboot多文件上传]]></title><link>https://blog.csdn.net/lpp_dd/article/details/106685034</link><guid>https://blog.csdn.net/lpp_dd/article/details/106685034</guid><author>lpp_dd</author><pubDate>Thu, 11 Jun 2020 11:39:04 +0800</pubDate><description><![CDATA[后端代码
@RequestMapping(value = "/upload", method = RequestMethod.POST)
public ResultVo upload(@Valid UploadRequestVo uploadRequestVo, @RequestParam("file") MultipartFile[] files, HttpServletRequest request) {
        ResultVo data = fileService.uploadPic(upl]]></description><category></category></item><item><title><![CDATA[存储过程demo-(base mysql)]]></title><link>https://blog.csdn.net/lpp_dd/article/details/106683597</link><guid>https://blog.csdn.net/lpp_dd/article/details/106683597</guid><author>lpp_dd</author><pubDate>Thu, 11 Jun 2020 10:57:13 +0800</pubDate><description><![CDATA[DROP PROCEDURE IF EXISTS delUserOrderDataByUserId;
DELIMITER $ 
CREATE PROCEDURE delUserOrderDataByUserId(IN pUserId BIGINT)
  BEGIN
  -- 依赖orderId来删除的相关表
  DECLARE pOrderId BIGINT; 
  DECLARE s INT DEFAULT 0;
  #声明游标
  DECLARE orderIdList CURSOR FOR SELEC]]></description><category></category></item><item><title><![CDATA[全注解实现自定义过滤器与拦截请求参数]]></title><link>https://blog.csdn.net/lpp_dd/article/details/105980778</link><guid>https://blog.csdn.net/lpp_dd/article/details/105980778</guid><author>lpp_dd</author><pubDate>Thu, 07 May 2020 20:27:22 +0800</pubDate><description><![CDATA[全注解实现自定义过滤器与拦截请求参数
环境
springboot工程
步骤
1、在主Application上添加注解@ServletComponentScan使得@WebFilter注解生效
@SpringBootApplication
@ServletComponentScan
public class DemoApplication {

2、添加自定义过滤器
@WebFilter(urlPa...]]></description><category></category></item><item><title><![CDATA[全注解实现spring拦截器配置与代码demo]]></title><link>https://blog.csdn.net/lpp_dd/article/details/105815006</link><guid>https://blog.csdn.net/lpp_dd/article/details/105815006</guid><author>lpp_dd</author><pubDate>Tue, 28 Apr 2020 15:29:47 +0800</pubDate><description><![CDATA[全注解实现spring拦截器配置与代码demo
流程说明
1 先基于注解初始化添加一个全局配置的WebMvcConfigurerImpl，实现WebMvcConfigurer接口，这个实现类需要添加自定义拦截器。基于@Bean的方式初始化拦截器能保证在拦截器里面使用@Autowried注入其他Service,不为null。
2 定义自己的拦截器，需要实现HandlerInterceptor接口
3...]]></description><category></category></item><item><title><![CDATA[Redis的命令行连接与Jedis连接]]></title><link>https://blog.csdn.net/lpp_dd/article/details/102938157</link><guid>https://blog.csdn.net/lpp_dd/article/details/102938157</guid><author>lpp_dd</author><pubDate>Wed, 06 Nov 2019 16:55:21 +0800</pubDate><description><![CDATA[命令行连接

客户端启动命令：
./redis-cli -c -h ip -p port -a password
不基于-a直接输入密码，可以通过auth输入密码：
auth password
服务端启动命令：
./redis-server ../redis.conf

Jedis连接

maven约束

&lt;dependency&gt;
    &lt;groupId&gt;redis.cl...]]></description><category></category></item><item><title><![CDATA[Kafka单机部署]]></title><link>https://blog.csdn.net/lpp_dd/article/details/88892314</link><guid>https://blog.csdn.net/lpp_dd/article/details/88892314</guid><author>lpp_dd</author><pubDate>Fri, 29 Mar 2019 14:43:51 +0800</pubDate><description><![CDATA[Kafka单机部署
环境说明

Red Hat 4.8.5-36
JDK1.8
Zookeeper-3.4.8
kafka_2.11-0.10.1.1

Zookeeper单机版部署
部署步骤
1、下载zookeeper-3.4.8.tar.gz
2、解压tar -zxvf zookeeper-3.4.8.tar.gz
3、修改配置文件，将$ZOOKEEPER_HOME/conf/zoo_samp...]]></description><category></category></item><item><title><![CDATA[单机HBase部署以及Java远程连接单机HBase]]></title><link>https://blog.csdn.net/lpp_dd/article/details/88428061</link><guid>https://blog.csdn.net/lpp_dd/article/details/88428061</guid><author>lpp_dd</author><pubDate>Tue, 12 Mar 2019 20:10:33 +0800</pubDate><description><![CDATA[HBase单机环境搭建
环境说明

Red Hat 4.8.5-36
JDK1.8
HBase2.1.1

部署过程
1、下载 hbase-2.1.1-bin.tar.gz
2、解压文件 tar -zxvf hbase-2.1.1-bin.tar.gz
3、修改配置文件$HBASE_HOME/conf/hbase-site.xml 添加如下参数
&amp;amp;lt;!-- HBase存储数据的路径 默认在tm...]]></description><category></category></item><item><title><![CDATA[关系型数据库大数据量递进解决方案及诱发问题]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87969392</link><guid>https://blog.csdn.net/lpp_dd/article/details/87969392</guid><author>lpp_dd</author><pubDate>Wed, 27 Feb 2019 11:27:12 +0800</pubDate><description><![CDATA[1、数据量增多，单靠主键查询效率低效，增加查询字段索引，提升查询效率。
2、单节点压力过大，采用读写分离，将查询压力增加到其他节点，查询节点设置索引，插入节点不设置索引。但会导致数据存在时差，如果有多个读节点，将会导致短时间内数据不一致。
3、使用redis、memcached等缓存中间件，将常用的查询数据缓存。但是会存在数据一致性问题，需要通过代码来保证数据强一致。
4、数据到达百万级以上，采用...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通10 -- Spark Shuffle]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87968703</link><guid>https://blog.csdn.net/lpp_dd/article/details/87968703</guid><author>lpp_dd</author><pubDate>Wed, 27 Feb 2019 11:01:27 +0800</pubDate><description><![CDATA[Spark Shuffle
Shuffle简介

Shuffle(数据混洗)是将一组无规则的数据转换为一组有规则的数据。Spark是一个分布式计算引擎，大多数的计算和数据转换过程是在多台计算机上执行的，当我们对RDD进行规约操作时,例如reduceByKey，或者当两个RDD之间是宽依赖的关系时，都会产生Shuffle。

Shuffle实现方案

Shuffle过程中会导致RDD进行重分区，在数...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通9 -- Spark Streaming]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87259349</link><guid>https://blog.csdn.net/lpp_dd/article/details/87259349</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:17:51 +0800</pubDate><description><![CDATA[Spark Streaming
Spark Streaming简介


Spark Streaming是Spark为了处理实时流数据而设计的模型，允许基于批处理API进行对实时流数据进行处理。


Spark Streaming使用离散化流(discretized stream)作为抽象表示，叫做DStream。类似于Spark中的RDD，用于存储实时流数据。DStream是将实时流数据分批整合成...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通8 -- Spark SQL]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87259282</link><guid>https://blog.csdn.net/lpp_dd/article/details/87259282</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:16:51 +0800</pubDate><description><![CDATA[Spark SQL
Spark SQL简介

Spark SQL是用来操作结构化数据的程序包，支持多种数据源(Hive表、Parquet、JSON),可以基于Spark SQL进行数据的查询，为数据计算提供数据入口。
Spark SQL提供一种特殊的RDD，叫做DataFrame，DataFrame是存放Row对象的RDD，每一个Row对象代表一行记录。

Spark SQL使用
Spark SQ...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通7 -- Spark编程进阶]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87259215</link><guid>https://blog.csdn.net/lpp_dd/article/details/87259215</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:15:57 +0800</pubDate><description><![CDATA[Spark编程进阶
累加器
介绍与使用场景
当我们在驱动器端声明一个变量时，如果我们在计算过程中需要对变量进行修改，这个时候不同的执行器拿到的当前变量的一个副本。类似于Java多线程场景下对共享变量的操作。所以累加器作为一个驱动器端声明的变量，能保证多个执行器端操作的时候是不会发生变量冲突的情况。就像是Java中的AtomicInteger一样。
但是累加器具有容错性，当我们某个执行器节点宕机后，...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通6 -- Spark数据读取与保存]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87259125</link><guid>https://blog.csdn.net/lpp_dd/article/details/87259125</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:14:35 +0800</pubDate><description><![CDATA[Spark数据读取与保存
Spark支持多种数据源

文件格式
文件系统
SparkSQL结构化数据
数据库

文件格式
支持的文件格式有文本文件、SequenceFile、序列化对象、Hadoop输入输出格式、protocol buffer、压缩文件等。介绍几种常见的文件格式api：
文本文件
1、读取文本文件
文本文件输入的每一行作为RDD的一个元素，或者将一个完整的文件已文件名-文件内容键值...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通5 --  Spark运行架构及流程]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87259042</link><guid>https://blog.csdn.net/lpp_dd/article/details/87259042</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:13:29 +0800</pubDate><description><![CDATA[Spark运行架构及流程
Spark运行架构
架构图

基本概念

Application：用户编写的Spark应用程序，一个main方法。
Driver：程序中执行main方法的进程，创建SparkContext为Spark应用程序提供运行环境，负责与ClusterManager的通信，进行资源申请、任务的分配和监控等，当Executor部分运行完毕后，Driver同时负责将SparkConte...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通4 -- RDD编程]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87258926</link><guid>https://blog.csdn.net/lpp_dd/article/details/87258926</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:11:49 +0800</pubDate><description><![CDATA[RDD编程
RDD是什么
弹性分布式数据集RDD是Spark中不可变的分布式对象集合，每个RDD被分为多个分区，分区运行在集群不同节点上。我们可以通过Java、Scala、Python语言操作RDD，进行数据的处理。
RDD操作类型

转化操作(transformation)

转化操作指将一个RDD转换成另一个RDD，就像我们将List转换成Map一样。

行动操作(action)

行动操作指...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通3 -- Spark简介]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87258821</link><guid>https://blog.csdn.net/lpp_dd/article/details/87258821</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:10:18 +0800</pubDate><description><![CDATA[Spark
Spark简介

Spark是一个用来实现快速且通用的集群计算平台

Spark组件示意图
Spark SQLSpark CoreSpark StreamingMLlibGraphX独立调度器YARNMesos

Spark Core

Spark Core是Spark的核心计算引擎，提供了任务调度、内存管理、错误恢复、与存储系统交互等模块。其中的弹性分布式数据集(RDD)，是计算时的...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通2 -- Scala基础语法]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87258311</link><guid>https://blog.csdn.net/lpp_dd/article/details/87258311</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:03:34 +0800</pubDate><description><![CDATA[Scala
数据类型

Unit：与java中void表示同一含义。

//main方法声明
def main(args: Array[String]): Unit = {
}



Any：所有其他类的超类，是抽象类


AnyRef：所有引用类的基类，与java中Object表示同一个意思


Nothing：所有类的子类


变量声明

var：声明可以变化的变量
val：声明不能变化的常量...]]></description><category></category></item><item><title><![CDATA[Spark从入门到精通1 -- 大数据生态组件]]></title><link>https://blog.csdn.net/lpp_dd/article/details/87258127</link><guid>https://blog.csdn.net/lpp_dd/article/details/87258127</guid><author>lpp_dd</author><pubDate>Thu, 14 Feb 2019 11:00:45 +0800</pubDate><description><![CDATA[大数据生态组件

大数据生态关系图

Flume日志收集Storm流式计算SparkStreamingScala编程语言JavaPythonMahout机器学习库MLlibzookeeperHadoop家族HbaseHueSqoopOozie大数据生态大数据通用处理平台分布式数据存储资源调度数据分析/数据仓库消息队列HadoopSparkHDFSYarnMesosHiveSparkSQLPigKy...]]></description><category></category></item></channel></rss>