_laolao_-CSDN博客

原创 Flink SQL

这里的Catalog是"目录"，和标准SQL中的概念是一致的，主要用来管理所有数据库（database）和表（table）的元数据（metadata）。需要说明的是，Table API和SQL最初并不完善。这里主要添加的依赖是blink的"计划器"（planner），它是Table API的核心组件，负责提供运行时环境，并生成程序的执行计划。事实上，Table API和Flink SQL的使用非常简单，我们首先得到一个"表"（Table），然后对他调用Table API，或者直接写SQL就可以了。

2024-02-17 20:35:23 720 1

原创 Spark性能调优（原理篇）

2020年6月，Spark正式发布了新版本，从2.4直接跨越到了3.0。这次大版本升级的亮点就在于性能优化，它添加了诸如自适应查询执行（AQE）、动态分区裁剪（DPP）、扩展的Join Hints等特性。**Spark已经成为了各大头部互联网公司的标配，在海量数据处理上，扮演着不可获取的关键角色。**比如，字节跳动基于Spark构建的数据仓库去服务几乎所有的产品线，包括抖音、今日头条、西瓜视频、火山视频等。再比如，百度基于Spark推出BigSQL，为海量用户提供次秒级的即席查询。可以预见的是，

2024-01-21 23:25:08 394 1

原创 Flink

unboundedandboundedFlink的世界观是数据流，对Flink而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已，所以Flink也是一款真正的流批统一的计算引擎。无界流：有定义流的开始，但没有定义流的结束。它们会无休止的产生数据。无界流的数据必须持续处理，即数据被摄取后需要立即处理。我们不能等到所有数据都到达后再进行处理，因为输入是无限的，在任何时候输入都不会结束。处理无界数据通常要求以特定顺序摄取事件，例如事件发生的顺序，以便能够推断结果的完整性。

2024-01-15 23:53:31 1758

原创 11.JVM调优

整体规划：xxx.java -> javac命令 -> xxx.class -> java命令执行class文件 -> class文件和用到的相关类库被对应的ClassLoader加载进内存 -> 字节码解释器解释class文件/JIT即时编译器编译class文件 -> 执行引擎执行其中ClassLoader到执行引擎的这部分叫做JVM（Java虚拟机）JVM可以叫做是一个跨语言的平台，很多语言都能在JVM上跑。eg:java,scala,kotlin,groovy…并且linux，unix,windo

2024-01-02 22:47:00 1398

原创 10.过滤器监听器-监听器

监听器类似于前端的事件绑定，java中的监听器用于监听web应用中某些对象、信息的创建、销毁、增加、修改、删除等动作，然后在监听到后做出相应的响应处理。当监听对象的状态发生变化的时候，服务器自动调用监听器对象中的方法。监听器常用于统计在线人数和在线用户，系统加载时进行信息初始化，统计网站的访问量等等。1.按监听的对象划分（监听Servlet的三大域对象），分别用于监听3个域对象，每个监听器都有专门监听的事件。java中一共给我们提供了8个监听器。1.定义监听器，根据需求实现对应接口。2.按监听的事件划分。

2024-01-02 17:57:57 359

原创 9.过滤器监听器-过滤器

3.Filter接口中有一个doFilter方法，当开发人员编写好Filter，并配置对哪个web资源进行拦截后，web服务器每次在调用web资源的service方法之前，都会先调用一下filter的doFilter方法，doFilter方法中有一个filterChain对象，用于继续传递给下一个filter。请求->过滤器创建->过滤器1对请求作出过滤->过滤器2对请求作出过滤->过滤器3对请求作出过滤->…->过滤器3对响应作出过滤->过滤器2对响应作出过滤->过滤器1对响应作出过滤->响应。

2023-12-12 23:38:06 1307

原创 16.SpringBoot（1）

Spring是一个轻量级框架，Spring为企业级Java开发提供了一种相对简单的方法，通过依赖注入和面向切面编程，用简单的Java对象实现了EJB的功能。虽然Spring的组件代码是轻量级的，但是Spring的配置却是重量级的。

2023-11-26 19:34:05 418 1

原创 15.SpringMVC

SpringMVC属于SpringFrameWork的后续产品，已经融合在Spring Web Flow里面，Spring框架提供了构建Web应用程序的全功能MVC模块，使用Spring可插入的MVC框架，可以在使用Spring进行Web开发时，选择使用Spring提供的SpringMVC框架或者集成其他MVC框架，比如Struts（现在一般不用），Struts 2（一般老项目使用）等等。

2023-11-14 00:33:58 66 1

原创 8.JSP

包含的文件就好像是JSP文件的一部分，会被同时编译执行。事实上被引入的head.jsp并不会被单独转译成java代码（servlet），而是head.jsp的代码嵌入到了include.jsp中，include.jsp转译为java代码。JSP的本质是Servlet，在JSP文件经过转译之后，生成JAVA代码，在运行时 JSP给我们准备好了九个可以直接使用而不用我们自己去new的对象，这九个对象我们称之为内置对象，内置对象完全由JSP自行维护，我们直接使用即可。来引入head.jsp。

2023-11-13 23:27:39 37 1

原创 14.基于项目驱动快速上手SSM框架

SpringBoot可以提升我们的开发效率，把我们从传统的SSM项目的繁杂的依赖于配置文件/注解中解放出来。SpringBoot主要解决的是在微服务的架构下简化配置（有快速配置）、前后端分离、快速开发。Spring Initializer：spring项目的脚手架，直接给我们提供一个jar包，包含了我们所需的所有jar（根据之前人总结出来的），直接给我们一个空项目。屏蔽了比如用maven手动导入依赖的依赖冲突等问题。如下图，最重要的选择：我们可以根据自己的需求添加依赖。

2023-11-12 23:09:44 57

原创 3.OpenAI大模型开发与实践

也不一定，越大的模型需要的算力/成本就越高，如果模型轻量化一点，那么部署在手机这种终端上才有可能。像GPT-4由多个大模型组成，它会对每个大模型生成的结果再进行加权选择获得一个最终的结果，包括ToT(Tree of Thoughts)最佳思维链的选择，这都是非常消耗算力的。计算一段文本的token数的用处：1.估计成本，模型是按输入/输出tokens算钱的 2.控制对模型输入的token数（一旦input的token数超过模型的最大输入token数的限制，就会报错）

2023-11-12 21:21:22 163

原创 7.Tair

在Tair出现之前的很长一段时间里，像redis（redis3.0之后支持）、memcache这些知名的NoSql数据库是不支持分布式的，在这样的背景下，在淘宝网自主开发并在2010.6开源的一个高性能、高扩展、高可靠的分布式缓存（三高产品），类似map的key/value结构，在淘宝、天猫等各个应用中广泛应用。

2023-11-11 23:55:53 134 1

原创 6.JSP

Servlet作为动态资源，在java代码中通过字符串形式响应数据，虽然也能动态生成资源，但是操作非常繁琐，并且不利于页面的更新和维护，所以。

2023-11-08 23:49:54 46 1

原创 5.Servlet

能够存储数据、获取数据、传递数据的对象。

2023-11-06 23:13:39 36 1

原创 4.Servlet

Cookie对象与HttpSession对象是维护客户端(浏览器)与服务端的会话状态的两个对戏那个。**由于HTTP协议是一个无状态的协议，所以服务端并不会记录当前客户端浏览器的访问状态，**但是有些时候我们是需要服务端能够记录客户端浏览器的访问状态的，如获取当前客户端浏览器的访问服务端的次数时就需要会话状态的维持。在Servlet中提供了Cookie对象与HttpSession对象用于维护客户端与服务端的绘画状态的维持。

2023-11-05 16:25:15 51 1

原创 2.Embedding

比如对于组合起来能表示任何颜色的三原色红蓝绿，分别用一个矩阵表示图像在对应原色矩阵中的各个像素点的值（这里可以把每个像素点的值设为0～256，也可以设的更高，比如0～512，这样就是表达出来的颜色更精细）。2006，Hinton提出了一个叫做t-SNE的降维方法，它能够很好的把高维空间的数据映射到低维空间，并且保持了向量间的相对关系（语义信息保留住了）。比如种族偏见，因为统计词的概率分布的时候，把人的偏见（体现在文章中）也统计进来了。词嵌入能捕捉到词间的关系，比如相似的词向量间的差也应该相似。

2023-10-29 22:05:13 80 1

原创 3.Servlet

如果在执行构造方法/初始化Servlet对象的时候逻辑很重，第一次访问这个Servlet对象的时候创建Servlet对象等了很久（可以在constructor或者init()中加一个Thread.sleep(5000)来模拟），那么用户的页面就会一直卡住，体验很差。即Servlet对象创建1次（第一次请求servlet资源时完成），初始化1次（第一次请求servlet资源时完成），执行服务多次（每次请求servlet资源时完成），销毁1次（tomcat停止时完成）我们可以通过在web.xml中加。

2023-10-25 23:08:18 34 1

qq_43303296的博客