- 博客(55)
- 收藏
- 关注
RSS订阅原创 spark的算子
Spark中的单Value算子是指对一个RDD中的每个元素进行操作，并返回一个新的RDD。这些单Value算子能够对RDD中的每个元素进行处理，并返回一个新的RDD，可以用于各种数据转换、过滤、去重等操作。
2023-11-23 21:15:05
955
原创 三十分钟学会Shell（下）
函数体内执行的代码块# 可以包含变量、命令、流程控制语句等或者# 函数体内执行的代码块# 可以包含变量、命令、流程控制语句等。
2023-11-23 15:07:51
177
原创 三十分钟学会Shell（上）
Shell 本身并不是内核的一部分，它只是站在内核的基础上编写的一个应用程序，是用户和Linux文件系统之间的桥梁。Shell 有自己的特殊性，就是开机立马启动，并呈现在用户面前；用户通过 Shell 来使用 Linux，不启动 Shell 的话，用户就没办法使用Linux。
2023-11-23 14:05:18
352
1
原创 Spark的通用运行流程与Spark YARN Cluster 模式的运行流程
Spark的通用运行流程集群启动后Worker节点会向Master节点心跳汇报资源Client向Driver提交APP，根据不同的运行模式在不同的地方创建Driver。Driver以粗粒度的方式向Master注册应用并申请资源（在Application执行之前，将所有的资源申请完毕，当资源申请成功后，才会进行任务的调度，当所有的Task执行完成后，才会释放这部分资源。）（资源有Executer的CPU Core和Mem）Master根据SparkContext的资源申请情况以及Worker心跳周
2023-11-22 17:47:08
711
原创 三十分钟学会Linux的基本操作
GNU项目是由Richard Stallman发起的自由软件运动，旨在创建一个完全自由的操作系统。虽然GNU项目已经开发了大量的系统组件和工具，但它一直缺少一个完整的操作系统内核。在这时Linus Torvalds开发了Linux内核，并将其发布为自由软件。后来，Linux内核与GNU项目提供的系统组件和工具相结合，形成了完整的操作系统，通常被称为GNU/Linux系统。
2023-11-22 16:04:00
1006
原创 Linux主机间的相互免秘钥
把自己的公钥传递给对方主机即可，这个公钥文件必须放在对方主机的~/.ssh/authorized_keys 文件中。为了方便，关闭严格的密钥检查。
2023-11-22 10:30:40
178
原创 各类Linux操作系统如何选择？
CentOS的全称是Community Enterprise Operating System，它由社区开发和维护，目标是提供一个稳定、可靠的企业级操作系统，同时保持与RHEL高度兼容。它提供了广泛的软件包选择，包括常用的服务器软件、开发工具、数据库系统等，可以满足不同用户的需求。Ubuntu是一种广泛使用的自由Linux操作系统，它以易用性、稳定性和社区支持著称。Debian由社区开发和维护，它的目标是提供一个完全自由的操作系统，同时支持多种硬件体系结构，并提供广泛的软件包选择。桌面平台：Ubuntu。
2023-11-21 11:02:41
448
原创 项目架构的发展
单体架构指的是将整个应用程序构建为单一的、独立的单元。在软件开发中，单体架构通常指的是将一个应用程序作为一个整体来开发、部署和管理，所有的功能模块都打包在一起，共享同一个数据库和代码库。在单体架构中，通常会使用一种统一的开发语言和技术栈来构建整个应用，例如使用Java、C#、Python等作为后端开发语言，配合相应的前端技术来实现整个应用的功能。整个应用程序部署在一个服务容器中，通过统一的方式进行扩展和管理。
2023-11-21 10:28:16
79
原创 Scala的一等公民和至简原则
1. Scala 中，函数是一等公民具体体现在哪里Scala 混合了面向对象特性和函数式的特性函数可以作为值传递：函数可以作为参数传递给其他函数，也可以作为返回值返回给其他函数函数可以赋值给变量：和其他数据类型⼀样，函数也可以赋值给变量，变量的类型就是函数的类型函数可以嵌套定义：在函数内部可以定义另外⼀个函数，内部函数可以定义外部函数的变量Scala支持匿名函数，可以直接定义并传递匿名函数2. 说说 Scala 函数的至简原则方法和函数不建议写 return 关键字，Scala 会使用函
2023-11-20 09:41:21
441
原创 三十分钟学会SCALA
/ 因为函数是对象，所以函数有类型：(函数参数类型1, 函数参数类型2,...) => 函数返回值类型val 函数名: (函数参数类型1, 函数参数类型2,...) => 函数返回值类型 = (参数名:参数类型, 参数名:参数类型, ...) => {函数体函数的本质就是引用类型，相当于 Java 中 new 出来的实例，所以函数是在堆内存中开辟空间；函数的定义不需要使用 def 关键字，但定义的函数一定要有输入和返回值，没有返回值相当于返回的是 Unit；
2023-11-20 09:39:37
492
原创 关于Hbase的一些问题
当MemStore中的数据达到一定大小阈值时，或者出发了一定的时间阈值，HBase会将该MemStore中的数据刷写到磁盘，生成一个新的Store文件。在HBase中，随着数据的写入和删除，会产生大量的小文件，这样对于查询操作会引入额外的磁盘寻址开销。Phoenix只是在HBase之上构建了SQL查询引擎，Phoenix可以使用SQl快速查询HBase中的数据，但是数据的底层必须符合HBase的存储结构，HBase结合Phoenix可以实现海量数据的快速随机读写。：在设计上要保持RowKey的唯一性。
2023-11-19 14:52:45
1141
原创 让你彻底学会HBase
Apache HBase（Hadoop DataBase）是一个开源的、高可靠性、高性能、面向列（这里指列族，非列式存储）、可伸缩、实时读写的分布式数据库。利用 Hadoop HDFS 作为其文件存储系统，利用 ZooKeeper 作为其分布式协同服务。主要用来存储非结构化和半结构化的松散数据（列式存储 NoSQL 数据库）。注意：HBase 是列族数据库（Column-Family Database），不是列式数据库（Column-Oriented Database）。
2023-11-19 13:34:40
340
原创 Hive常见的面试题（十二道）
UDF（普通函数，⼀进⼀出，可以⽤于字符串处理、⽇期处理） 第一种是比较简单的形式，继承 UDF 类通过 evaluate 方法实现，目前已过时。 第二种是继承 GenericUDF 重写 initialize 方法、evaluate 方法、getDisplayString 方法实现。
2023-11-18 09:21:41
1369
原创 三十分钟学会Hive
UDF（普通函数，⼀进⼀出，可以⽤于字符串处理、⽇期处理）实现 UDF 的方式有两种： 第一种是比较简单的形式，继承 UDF 类通过 evaluate 方法实现，目前已过时。 第二种是继承 GenericUDF 重写 initialize 方法、evaluate 方法、getDisplayString 方法实现。
2023-11-18 09:19:23
668
原创 十道Linux常见的面试问题
在Linux中，脚本的后缀并不影响其是否可以执行。事实上，Shell脚本的可执行性是由文件的权限属性决定的，而不是由文件名的后缀决定的。后面跟的是解释器的路径（shell本身就是一种解释型语言），解释器的路径是/bin/sh；：创建新的用户或更改用户的信息，其创建的账号保存在/etc/passwd文本文件中。Linux 中查看进程的命令是 ps，杀死进程的命令是 kill。Shell脚本的第一行通常是用来指定要运行脚本的解释器。：查看用户的uid，gid和groups。：修改文件或目录的属主和属组。
2023-11-17 10:50:36
121
原创 Zookeeper的六个要点问题
当整个集群正在启动时，或者当 Leader 节点出现⽹络中断、崩溃等情况时，ZAB 协议就会进⼊恢复模式并选举产⽣新的 Leader，当 Leader 服务器选举出来后，并且集群中有过半的机器和该 Leader 节点完成数据同步后（同步指的是数据同步，⽤来保证集群中过半的机器能够和Leader 服务器的数据状态保持⼀致），ZAB 协议就会退出恢复模式。这个时候，在 Leader 节点正常⼯作时，启动⼀台新的服务器加⼊到集群，那这个服务器会直接进⼊数据恢复模式，和 Leader节点进⾏数据同步。
2023-11-17 09:25:47
367
原创 三十分钟学会zookeeper
一些分布式系统通过复制数据来提高系统的可靠性和容错性，并且将数据的不同的副本存放在不同的机器在数据有多份副本的情况下，如果网络、服务器或者软件出现故障，会导致部分副本写入成功，部分副本写入失败。这就造成各个副本之间的数据不一致，数据内容冲突。
2023-11-17 09:22:45
1038
原创 SpringMVC 进阶
SpringMVC 进阶一、拦截器SpringMVC 中 Interceptor 拦截器的主要作⽤是拦截⽤⼾的请求并进⾏相应的处理。⽐如通过它来进⾏权限验证，或者是来判断⽤⼾是否登陆等操作。对于 SpringMVC 拦截器的定义⽅式有两种：实现接⼝：org.springframework.web.servlet.HandlerInterceptor继承适配器：org.springframework.web.servlet.handler.HandlerInterceptorAdapter1.拦截器
2023-11-16 09:09:10
203
原创 SpringMVC基础
模型-视图-控制器（MVC）是以设计界⾯应⽤程序为基础的设计思想。主要通过分离模型、视图及控制器在应⽤程序中的⻆⾊将业务逻辑从界⾯中解耦。通常，模型负责封装应⽤程序数据在视图层展⽰，视图仅仅只是展⽰这些数据，不包含任何业务逻辑。控制器负责接收来⾃⽤⼾的请求，并调⽤后台服务（service或者dao）来处理业务逻辑。处理后，后台业务层可能会返回了⼀些数据在视图层展⽰。控制器收集这些数据及准备模型在视图层展⽰。MVC模式的核⼼思想是将业务逻辑从界⾯中分离出来，允许它们单独改变⽽不会相互影响。
2023-10-30 14:01:01
47
原创 Spring JDBC 和 事务控制
*** 收入* @param tarAid 收入金额的账户ID* @param money 收入金额* @return/*** 支出* @param outAid 支出金额的账户ID* @param money 支出金额* @return。
2023-09-21 14:53:27
48
原创 Spring AOP
*** 定义接口 - 定义行为*/实现MethodInterceptor接⼝// 目标对象// 通过构造器传入目标对象/*** 获取代理对象* @return*/// 通过Enhancer对象中的create()方法生成一个类，用于生成代理对象// 设置父类 （将目标类作为代理类的父类）// 设置拦截器 回调对象为本身对象// 生成代理类对象，并返回给调用者/*** 拦截器* 1. 目标对象的方法调用* 2. 行为增强。
2023-09-20 20:11:34
35
原创 Spring IOC基本概念
Spring框架是一个开源的 JavaEE 的应用程序、其主要核心是 IOC（控制反转/依赖注入）与AOP（面向切面）两大技术，实现项目在开发过程中的轻松解耦，提高项目的开发效率。Spring IOC（控制反转/依赖注入）Spring AOPSpring JDBC + 事务Dao层：JDBC操作 对应的框架：MybatisService层：Spring框架不是针对service层的业务逻辑的 service没有适合框架Controller层：Servlet
2023-09-15 10:27:14
168
原创 JavaScript之BOM与DOM操作
作用： （1）验证用户输入的数据。 （2）增加页面的动感效果。 （3）增强用户的体验度事件中的几个名词： 事件源: 谁触发的事件 事件名: 触发了什么事件 事件监听: 谁管这个事情，谁监视？ 事件处理:发生了怎么办load加载事件： 当页面加载完毕后执行的事件常用事件： onload：当页面或图像加载完后立即触发 onblur：元素失去焦点 onfocus：元素获得焦点 onclick：鼠标点击某个对象。
2023-09-07 08:44:22
113
原创 JavaScript基础
有三种函数定义的方式：函数声明语句、函数定义表达式、Function构造函数函数声明语句 function 函数名([参数列表]) { }函数定义表达式 var 变量名 = function([参数列表]) { }Function构造函数var 变量名 = new Function(‘a’,‘b’,‘return (a+b)’); 注： 1.如果使用函数声明语句这种方式声明函数，会具有函数名提升的效果。
2023-09-06 19:19:31
54
原创 css的基础
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Epg0wbiR-1693290966954)(C:\Users\dis\Desktop\笔记\CSS\lib\Snipaste_2023-08-21_15-45-01.png)]CSS概念：CSS（英文全称：Cascading Style Sheets），层叠样式表 （样式可以叠加）CSS最新版本是CSS3.能够做到网页和内容分离，对网页中的元素的位置排版等效果进行像素级的精准控制。CSS用来美化网页，需要依赖HTML.
2023-08-29 14:36:27
26
原创 HTML的基础
HTMLHTML：超文本标记语言一.基础语法1.标签<!-- HTML 超文本标记语言 基础语法 标签 单标签 无属性 <标签名 /> 有属性 <标签名 属性名="属性值" /> 双标签 无属性 <标签名></标签名> 有属性 <标签名 属性名="属性值"></标签名> 整体结构 <html></html&g
2023-08-25 14:48:49
105
原创 Mybatis
import com/*接口绑定方案下的接口 :// 查询所有的部门信息 public List < Dept > queryAll();/*接口绑定方案下的接口 :// 查询所有的部门信息 public List < Dept > queryAll();Dept;/*接口绑定方案下的接口 :// 查询所有的部门信息 public List < Dept > queryAll();List;/*接口绑定方案下的接口 :*/// 查询所有的部门信息。
2023-08-21 20:21:12
32
原创 Oracle 数据库
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZrjIuWHC-1692179442350)(C:\Users\dis\Desktop\笔记\Oracle\dis\Snipaste_2023-08-16_09-16-29.png)]
2023-08-16 17:52:14
121
原创 Java中的多线程
/静态内部类 static class Inner1 implements Runnable {i <= 20;i ++) {System . out . println("一边打游戏");try {//局部内部类 class Inner2 implements Runnable {i <= 20;i ++) {System . out . println("一边陪女朋友");try {//匿名内部类 new Thread(new Runnable() {
2023-08-07 11:04:56
21
原创 Lambda、Stream与新增内容
b)内部所引用方法的 返回值与lambda表达式的返回值一致,lambda参数列表的第一个参数作为调用内部方法的对象,lambda参数列表的第二个参数开始匹配内部引用方法参数列表 ----> 类名::成员方法。 2. a)当lambda参数列表,返回值与内部引用方法的参数列表与返回值保持一致的时候 ----> 对象::成员方法 | 类名::静态方法。3)在TestLambda类中声明方法,参数三个,两个long类型的参数,接口作为参数,接口实现中计算两个long型参数的和。
2023-08-03 22:32:20
84
原创 Java集合一
有些集合类型可以存储重复数据,有些集合类型不能存储重复数据(去重)从此集合中移除指定元素的单个实例（如果存在）（可选操作）。泛型的占位符可以为任意字符,一般常见 T,E,K,V,?移除此集合的所有也包含在指定集合中的元素（可选操作）。如果此集合包含指定集合中的所有元素，则返回true。有些集合类型是有序的,有些集合类型是无序的。仅保留此集合中包含在指定集合中的元素（可选操作）。将指定集合中的所有元素添加到此集合（可选操作）。有序的,可以根据索引进行操作的。确保此集合包含指定的元素（可选操作）。
2023-07-31 20:21:52
18
原创 Java集合二
可以通过构造器指定。列表的迭代器，允许程序员在任一方向遍历列表，在迭代期间修改列表，并获取迭代器在列表中的当前位置。将指定集合中的所有元素附加到此列表的末尾，按照指定集合的迭代器返回的顺序（可选操作）。返回此集合中大于或等于给定元素的最小元素，如果没有这样的元素，则null。返回此集合中小于或等于给定元素的最大元素，如果没有这样的元素，则null。返回此集合中严格大于给定元素的最小元素，如果没有这样的元素，则null。返回此集合中严格小于给定元素的最大元素，如果没有这样的元素，则null。
2023-07-31 20:20:28
26
1
原创 Java中的IO补充
java.io.EOFException 当通过数据输入流读取时候,类型不匹配,或者不是读入源文件都有能遇到的异常。序列号 : 在实现了序列化的类型中必会存在一个序列号,如果显示提供了以自定义的为主,如果没有显示提供,会存在默认的序列号。因为当类中的成员存在变动,如果是显示自定义的序列号没有影响,但是如果使用的是默认提供的序列号,会自动更新。如果父类实现了序列化接口,子类没有实现,子类可以序列化所有的内容。数据源---文件字节输入流--->程序---文件字节输出流---->目的地。
2023-07-28 22:44:49
18
1
原创 Java中的IO流
之前使用字节流每次读入一个字节数据,重复读入多次,重复读入的代码过于冗余,不够精简。如果目的地文件不存在,系统会自动创建目的地文件,但是目的地文件所在路径(文件夹)不会自动创建。处理流|功能流 : 增强节点流的功能,提高节点流的性能。
2023-07-26 19:12:32
80
1
原创 Java其他常用方法
3.在结合业务使用中,属性如果为包赚类类型可以便于区分以下两种状态 : 账户余额 Double。java为所有基本数据类型都提供了一个与之对应的引用数据类型。2.集合中只能存储引用数据类型的对象数据。1.类中可以提供众多的成员,功能强大。0.0 : 充过值但是已经消费为0。jdk5新特性 : 自动拆装箱。1.基本数据类型使用简答方便。自动装箱 : 基本–>包装。自动拆箱 : 包装–>基本。null : 没有充过值。2.有了与节省内存空间。Java其他常用方法。
2023-07-25 20:07:44
33
原创 Java的String
用给定的替换替换此字符串中与给定的regular expression匹配的第一个子字符串。System.out.println("张鹏王鹏".startsWith("王",2));返回一个字符串，该字符串是用newChar替换此字符串中所有出现的oldChar得到的。System.out.println("王鹏".startsWith("王"));
2023-07-24 23:15:18
27
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人