- 博客(25)
- 收藏
- 关注
RSS订阅原创 Redis启动出错
1.双击redis-server.exe窗口会一闪而过，这个时候双击redis-cli.exe会出现：由于目标计算机积极拒绝，无法连接，可以在redis的文件夹打开终端，使用redis-server.exe redis.windows.conf命令 ，一般就会好了。2.但是我出现了另一个问题，输入redis-server.exe redis.windows.conf命令后，出现下面的情况。
2023-06-20 10:39:14
979
原创 flink架构设计与运行流程剖析
1、架构设计架构设计图分层设计说明(相关术语解释）物理部署层-deploy层 通过该层支持不同平台的部署，用户可以根据自身场景和需求选择使用对应的部署模式。 支持多种部署模式：本地部署、集群部署（Standalone/Yarn/Mesos）、云（GCE/EC2）以及kubernetes。 负责解决Flink的部署模式问题。 Runtime核心层 是Flink分布式计算框架的核心实现层，负责对上层不同接口提供基础服务。 .
2021-12-04 18:03:04
121
原创 flink初识
一.产生背景实时流数据增多 : 互联网应用快速发展,实时流数据日益增多价值更大: 实时流数据的处理和挖掘带来的价值比离线数据处理要多大厂需求 : 各大互联网厂商需要一个能够快速响应和处理大规模实时流数据的技术其他流处理引擎不能够满足需求 : storm/jstorm,sparkstreaming等优秀的流处理引擎要求：低延时,高吞吐,容错性好,窗口时间语义化,编程效率高,运行效果好storm/jstorm优点：低延时缺点：其他的都差一些spa...
2021-12-02 20:18:32
93
原创 scala基础与进阶
方法与函数两者的区分说明Scala 有方法与函数，二者在语义上的区别很小，在绝大多数情况下，两者是视为对等的。Scala 方法是类的一部分，而函数是一个对象可以赋值给一个变量，即在类中定义的函数即是方法。Scala 中的方法跟 Java 的类似，方法是组成类的一部分。Scala 中的函数则是一个完整的对象，Scala 中的函数其实就是继承了 Trait 的类的对象。Scala 中使用 val 语句可以定义函数，def 语句定义方法。方法定义定义格式def functionNam
2021-11-11 23:52:04
379
原创 Spark初识
Spark的背景、定义、特点背景 MapReduce框架局限性 仅支持Map和Reduce两种操作，提供给用户的只有这两种操作 编程复杂度略高，学习和使用成本略高。 处理效率低效 Map中间结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据 任务调度和启动开销大 在机器学习、图计算等方面支持有限，性能效率表现比较差。 mapreduce的机器学习框架，称为mahout。 定义 专为大规模数据处理而设计的快速通用的计
2021-11-10 11:01:26
2444
原创 Hive企业应用
一. 数据仓库架构设计数据仓库的主要工作就是ETL，即是英文 Extract-Transform-Load 的缩写，用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计，即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。1.数据架构架构原则：先水平分层，再垂直分主题域。数据架构分三层源数据落地区(SDF:Source Data File)数据仓库层(DW:Data WareHo.
2021-10-22 20:20:20
137
原创 Hive自定义函数
一. UDFIO要求-要解决的问题in:out=1:1,只能输入一条记录当中的数据，同时返回一条处理结果。 属于最常见的自定义函数，像cos,sin,substring,instr等均是如此要求。实现步骤(Java创建自定义UDF类)自定义一个java类 继承UDF类 约定俗成的重写evaluate方法 打包类所在项目成一个all-in-one的jar包并上传到hive所在机器 在hive中执行add jar操作，将jar加载到classpath中。 在hive中创建模板函数，使得后边
2021-10-20 23:35:10
226
原创 HIVE基础
一. 数据仓库介绍面向分析的存储系统(面向数据分析的存储系统） 一个面向主题的（Subject Oriented）、集成的（Integrate）、不可修改的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于数据分析、辅助管理决策。 面向主题：指数据仓库中的数据是按照一定的主题域进行组织。 反映历史变化：指通过这些信息，对企业的发展历程和未来趋势做出定量分析预测。 不可修改：指一旦某个数据进入数据仓库以后只需要定期的加载、刷新，不会更改。 集成：指对原有
2021-10-19 01:30:46
111
原创 分布式资源管理与任务调度框架 Yarn
一、Yarn简介1、Yarn是什么Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者） 一种新的Hadoop资源管理器，一个通用资源管理系统 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率2、产生背景在Hadoop1.x中MapReduce是Master/Slave结构，在集群中的表现形式为：1个JobTracker带多个TaskTracker，我们称之为MRv1。Master
2021-10-13 18:57:55
335
原创 springMVC
Spirng Mvc三层架构介绍咱们开发服务器端程序，一般都基于两种形式，一种C/S架构程序，一种B/S架构程序使用Java语言基本上都是开发B/S架构的程序，B/S架构又分成了三层架构三层架构表现层：WEB层，用来和客户端进行数据交互的。业务层：处理公司具体的业务逻辑的。持久层：用来操作数据库的。MVC设计模式介绍MVC全名是Model View Controller 模型视图控制器，每个部分各司其职。Model：数据模型，JavaBean的类，用来进行数据封装。View：指J
2021-08-11 21:59:27
89
原创 Spring介绍 IOC注解
Spring 是什么？Spring 是一个开源框架，Spring 是于 2003 年兴起的一个轻量级的 Java 开发框架Spring环境搭建创建Spring项目，并引入相关依赖项目创建通过idea创建一个maven项目引入spring的依赖 <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.t
2021-08-05 22:03:55
56
原创 mybatis的初步使用
什么是mybatisMyBatis 是一款优秀的持久层框架，它支持 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。它内部封装了 jdbc，使开发者只需要关注 sql 语句本身，而不需要花费精力去处理加载驱动、创建连接、创建 statement 等繁杂的过程。MyBatis 可以使用 简单的 XML 或注解来配置和映射 接口和 Java 的 实体类。 MyBatis 有两种用法：注解；XML项目集成引入依赖&.
2021-08-04 21:54:48
85
原创 MyBatis 分页
连接池UNPOOLED连接初始化驱动： 判断driver驱动是否已经加载到内存中，如果还没有加载，则会动态地加载driver类，并实例化一个Driver对象，使用DriverManager.registerDriver()方法将其注册到内存中创建Connection对象： 使用DriverManager.getConnection()方法创建连接。配置Connection对象： 设置是否自动提交autoCommit和隔离级别isolationLevel。返回Connection对象
2021-08-04 21:39:31
84
原创 2021-08-03
MyBatis#和$的区别#{}表示一个占位符号${}表示拼接 sql 串当我们设置多个参数的时候我们一般通过注解的方式解决问题// 接口方法 int updateNickname( @Param("id") int id,@Param("nickname")String nickname); <update id="updateNickname"> update t_user set nickname = #{nickname} where id = #{
2021-08-03 22:51:43
82
原创 2021-06-02封装
封装Staticstatic 是一个修饰符关键字,用来区别静态和成员属性static修饰符1 类体中使用static修饰的变量 是静态变量2 类体中使用static修饰的方法 是静态方法3 类体中使用static修饰的语句块是静态语句块 静态变量 和静态语句块 都是类加载阶段进行初始化和执行,而main方法是在加载完之后,进入运行时,才会执行所以 静态变量和静态语句块的优先级 大于 main方法什么时候类加载呢? 访问一个类的静态属...
2021-06-02 15:15:12
48
原创 2021-06-02类
类、对象、构造器、封装类和对象对象：代码角度：new的实例化某一个类的实例，封装有的数据数据角度：封装数据和逻辑的一种方式人类认知角度：对象就是具体的个体，一切皆对象设计角度：从一个实际的实体抽象某些属性的一种实体表示概念/定义：是我们在思想上对某一个东西，或者某一类东西的唯一性标识描述了这一类事物的特性是我们对客观事物描述的一个标准一个模板类定义标准和模板 , 而对象就是符合这个标准的个体我们再抽离某个概念,就能建立相关事物的类,一定通过类中的属性来形成这个概念,然后..
2021-06-02 15:08:53
42
原创 2021-05-26数组
数组概述数组：是引用数据类型（类，数组，接口）数组是底层的数据结构，几乎任何语言都有，数组被分为索引数组和关联数组，目前只涉及索引数组数据结构数据结构就是计算机存储、组织数据的方式。分为数组 栈 链表 散列 二叉树/红黑树应用场景可以使用数组，来存储多个数据即可，这样一个变量就可以搞定，方便统一操作，但是，数组中元素（数据中的数据）的类型必须一致数组特性可以看做是一个多个相同数据的一个存储容器,可以对这些数据进行统一管理 ， 是一种引用数据类型，意味着数组占用两块空间
2021-06-02 14:58:33
63
原创 2021-05-19递归
递归概述递归：就是在当前方法中，调用自己（当前方法）基本思想：以此类推递归和迭代是等价的，而迭代就是循环，所以递归就是重复做某件事三要素：初始值，终止条件，步长如果循环可以做到，就不要使用递归，因为递归效率低，比较耗费内存应用场景：一般是树状结构，需要使用递归来完成比如菜单目录...
2021-05-19 18:52:06
41
原创 2021-05-17方法、重载、内存划分
Day 06 方法、重载、内存划分1.方法1.1 概述和作用1一堆代码的集合,可以重复使用2 使程序变的更简洁更清晰3 有利于程序维护4 提高开发效率5 提高代码重用性/复用性1.2 方法声明[修饰符列表] 返回值类型 方法名 (参数列表) { 方法体 }[] : 可以有,可以没有,可以有多个1 方法修饰符列表,是可选的 :权限控制 四选一 public,private,protected,默认(不写)static(声明静态) , abstract ...
2021-05-17 14:15:54
41
原创 2021-05-13运算符、流程控制
运算符、流程控制1.运算符优先级1.1赋值运算符=：把右边的值给左边+=：左边和右边相加，结果赋值给左边使用+=和++等都不需要进行强制类型转换byte b1=2;//需要强制转换b1=(byte)(b1+1);//不需要强制转换b1+=2;b1++;1.2字符串连接符+既是数值加减，也是字符串连接符，作用就是把多个字符串拼接成一个字符串int a=10;int b=12;//1012System.out.println("a+b="+a+
2021-05-15 11:56:35
44
原创 2021-05-12运算符
运算符释义：用于表示数据的运算、赋值和比较的一系列符号我们称之为运算符。算术运算符+ - * / % ++ --++：自身加一，把对应空间的值拿出来加一再放回去--：自身减一i++和++i的区别i++：先赋值，后加一++i:先加一，后赋值package Day_03;public class a { public static void main(String[] args){ int i=10; i=i++; System.out.pri...
2021-05-12 16:02:53
66
原创 2021-05-10 数据类型 变量
目录数据类型 概述 分类整型浮点型字符型布尔型类型转换变量常量变量变量声明变量分类单行注释//多行注释1./**/ 2./** 可以使用javadoc工具生成文档 */一个java源文件中可以有多个class定义，但是public class 只能有一个，而且public class的类名必须和文件名一致，一个java文件中，有几个class定义，编译之后就会生出几个class文件...
2021-05-10 00:09:00
76
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人