自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(37)
  • 收藏
  • 关注

原创 Spark 数仓项目

数仓项目

2022-06-23 16:11:32 648 1

原创 Spark源码

spark源码

2022-06-23 16:09:36 1171 1

原创 Spark-3.0.0 重点归纳

spark重点归纳

2022-06-23 16:07:25 1429

原创 Spark SQL

spark sql( 带源码)

2022-06-15 20:42:38 1372 1

原创 个人博客~~

链接:shuihua.online

2022-05-29 14:35:02 69

原创 大海哥面试大保健

一、Linux1.常用的高级命令top: 查看内存;可以看到总体的系统运行状态和cpu的使用率ps -ef: 查看服务器的进程信息df -h: 显示磁盘分区使用情况netstat: 显示整个 Linux 系统的网络状态tar: 压缩和解压缩命令find -name: 文件查找rpm: 用于互联网下载包的打包及安装工具jmap -heap: 根据进程号,查看进程内存jstat -gc pid: 可以显示gc的信息,查看进程JVM垃圾回收的次数及时间二、Shell1.了解常用命令名字

2022-05-27 12:17:48 495

原创 Kafka生产调优

第 1 章 Kafka 硬件配置选择1.1 场景说明100 万日活,每人每天 100 条日志,每天总共的日志条数是 100 万 * 100 条 = 1 亿条。 1 亿/24 小时/60 分/60 秒 = 1150 条/每秒钟。每条日志大小:0.5k - 2k(取 1k)。1150 条/每秒钟 * 1k ≈ 1m/s 。高峰期每秒钟:1150 条 * 20 倍 = 23000 条。每秒多少数据量:20MB/s。1.2 服务器台数选择服务器台数= 2 * (生产者峰值生产速率 * 副本 / 10

2022-05-26 09:46:55 1472

原创 Kafka集成

分区策略默认的分区器DefaultPartitioner在IDEA中连按两下shift,全局查找DefaultPartitionerThe default partitioning strategy:If a partition is specified in the record, use itIf no partition is specified but a key is present choose a partition based on a hash of the keyIf n

2022-05-25 12:47:42 522

原创 第16章 反射

JavaSE_第16章 反射学习目标 了解反射的概念 了解类的加载过程 理解类初始化过程 了解类加载器 掌握获取Class对象的四种方式 能够运用反射获取类型的详细信息 能够运用反射动态创建对象 能够运用反射动态获取成员变量并使用 能够运用反射动态获取成员方法并使用 能够运用反射读取注解16.1 反射的概念Java程序中,所有的对象都有两种类型:编译时类型和运行时类型,而很多时候对象的编译时类型和运行时类型不一致。例如:某些变量或形参的类型是Object类型,但是程序却需要调

2022-05-25 11:21:15 106

原创 第15章 网络编程

JavaSE_第15章 网络编程学习目标 了解网络通信协议参考模型 能够理解IP地址和端口号的作用 能够在程序中表示IP地址和端口号 能够说出TCP和UDP网络协议的区别 了解基于Socket的TCP网络编程 了解基于Socket的UDP网络编程15.1 软件结构C/S结构 :全称为Client/Server结构,是指客户端和服务器结构。常见程序有QQ、红蜘蛛、飞秋等软件。B/S结构 :全称为Browser/Server结构,是指浏览器和服务器结构。常见浏览器有IE、谷歌、火狐

2022-05-25 11:20:58 107

原创 第14章 File类与IO流

JavaSE_第14章 File类与IO流教学目标 使用File类对象表示文件或目录 能够辨别相对路径和绝对路径 能够说出IO流的分类和功能 能够使用FileOutputStream写出数据到文件 能够使用FileInputStream读取数据到程序 能够理解读取数据read(byte[])方法的原理 能够使用文件字节流完成文件的复制 能够使用FileWirter写数据到文件 能够使用FileReader读数据 能够明确字符缓冲流的作用和基本用法 能够使用缓冲流的特殊功能 能够说

2022-05-25 11:20:42 148

原创 第13章 泛型

JavaSE_第13章 泛型学习目标 能够理解泛型的好处和意义 能够在使用集合相关API时正确指定泛型 能够使用其他泛型类、泛型接口 能够认识泛型方法 能够使用泛型定义类、接口、方法 能够理解泛型上限 能够阐述泛型通配符的作用 能够识别通配符的上下限13.1 泛型的概念13.1.1 泛型的引入例如:生产瓶子的厂家,一开始并不知道我们将来会用瓶子装什么,我们什么都可以装,但是有的时候,我们在使用时,想要限定某个瓶子只能用来装什么,这样我们不会装错,而用的时候也可以放心的使用,无需再

2022-05-25 11:20:29 177

原创 第12章 集合的重要接口

JavaSE_第12章 集合的重要接口学习目标 掌握List接口的常用方法 能够说出List接口的常用实现类集合的区别 能够说出Set接口的常用实现类集合的区别 能够说出List系列与Set系列集合的区别 能够说出Map接口的常用实现类集合的区别 能够说出Set系列与Map系列集合的关系 能够说出Collection系列与Map系列集合的区别 能够画出Collection系列集合的关系图 能够画出Collection和Map等所有常用集合的关系图 掌握Collections集合工具类

2022-05-25 11:20:09 88

原创 第11章 集合与迭代器

JavaSE_第11章 集合与迭代器学习目标 能够熟练使用Collection集合的API 能够使用Iterator迭代器遍历Collection系列的集合 能够使用foreach遍历Collection系列的集合 能够说出foreach循环与Iterator迭代器的联系与区别 掌握三种Collection集合的元素删除方式11.1 Collection集合11.1.1 集合的概念集合是java中提供的一种容器,可以用来存储多个数据。集合和数组既然都是容器,它们有啥区别呢?数组的

2022-05-25 11:19:32 210

原创 第10章【基础API与常见算法】

JavaSE_第10章 基础API与常见算法学习目标 了解数学相关API 了解日期时间API 了解系统类API 掌握数组基础算法 掌握数组工具类的使用 熟练掌握String类的API 熟练掌握StringBuilder和StringBuffer类的API10.1 和数学相关的类10.1.1 java.lang.Mathjava.lang.Math 类包含用于执行基本数学运算的方法,如初等指数、对数、平方根和三角函数。类似这样的工具类,其所有方法均为静态方法,并且不会创建对象,调用起

2022-05-25 11:19:18 269

原创 第9章 多线程

JavaSE_第9章 多线程学习目标 了解进程和线程的区别 能够理解并发与并行的区别 能够使用继承类的方式创建多线程 能够使用实现接口的方式创建多线程 能够说出实现接口方式的好处 能够解释安全问题的出现的原因 能够使用同步代码块解决线程安全问题 能够使用同步方法解决线程安全问题 能够理解线程通信概念 能够理解等待唤醒机制 能够说出线程的生命周期9.1 相关概念(了解)9.1.1 线程与进程程序:为了完成某个任务和功能,选择一种编程语言编写的一组指令的集合。软件:1

2022-05-24 15:32:31 206

原创 第8章 异常

JavaSE_第8章 异常学习目标 能够辨别程序中异常和错误 说出异常的分类 说出虚拟机处理异常的方式 列出常见的5个运行时异常 列出常见的5个编译时异常 能够使用try…catch关键字处理异常 能够使用throw抛出异常对象 能够使用throws关键字处理异常 能够自定义异常类 能够处理自定义异常类8.1 异常概述8.1.1 认识Java的异常1、什么是异常在使用计算机语言进行项目开发的过程中,即使程序员把代码写得尽善尽美,在系统的运行过程中仍然会遇到一些问题,因为很多

2022-05-24 15:31:52 107

原创 第7章 面向对象基础(下)

JavaSE_第7章 面向对象基础(下)学习目标 认识枚举类型 会使用枚举类型 认识包装类 会使用包装类进行处理字符串 能够识别内部类的几种形式 能够声明静态内部类和非静态成员内部类 能够看懂和声明匿名内部类 了解注解的概念7.1 枚举7.1.1 概述某些类型的对象是有限的几个,这样的例子举不胜举:星期:Monday(星期一)…Sunday(星期天)性别:Man(男)、Woman(女)月份:January(1月)…December(12月)季节:Spring(春节)…W

2022-05-24 09:12:26 135

原创 第6章 面向对象基础(中)

JavaSE_第6章 面向对象基础–中教学目标 理解封装的概念 掌握权限修饰符的使用 掌握成员变量的私有化 能够写出类的继承格式 能够说出继承的特点 能够说出方法重写的概念以及和重载的区别 能够应用多态解决问题 理解向上转型与向下转型 能够使用instanceof关键字判断对象类型 掌握构造器的声明与使用 能够使用this关键字解决问题 能够使用super关键字解决问题 了解实例初始化过程 了解Object类的常用方法 会重写Object的常用方法 了解JavaBean概

2022-05-24 09:11:39 582

原创 第5章 面向对象基础(上)

JavaSE_第5章 面向对象基础(上)学习目标 初步了解面向对象的思想 理解类与对象的概念和关系 能够掌握类的定义格式 能够掌握创建对象格式 理解包的作用 掌握包的声明和导入 掌握实例变量的声明和使用 掌握实例方法的声明和调用 理解实例变量与局部变量的区别 理解方法的调用执行机制 理解方法的参数传递机制 掌握方法的可变参数的使用 掌握方法的重载的使用 应用对象数组解决问题 掌握构造方法 掌握静态成员变量 掌握静态成员方法5.1 面向对象编程5.1.1 面向对象编

2022-05-24 09:11:00 254

原创 第4章 数组

JavaSE_第4章 数组学习目标 理解容器的概念 掌握一维的声明和初始化 使用索引访问数组的元素 了解数组的内存图解 避免空指针和越界异常 掌握数组的遍历 掌握数组基础算法 掌握数组元素的统计分析 掌握数组最大值的获取 掌握数组元素的查找 掌握数组元素的反转 掌握数组的排序4.1 数组的概念4.1.1 容器概述需求分析:现在需要统计某公司员工的工资情况,例如计算平均工资、找到最高工资等。假设该公司有50名员工,用前面所学的知识,程序首先需要声明50个变量来分别记

2022-05-24 08:39:29 469

原创 第3章 输入输出、分支结构、循环结构

JavaSE_第3章 流程控制语句学习目标 掌握键盘输入各种数据类型的值 理解if语句的格式和执行流程 理解if…else语句的格式和执行流程 理解if…else if语句的格式和执行流程 了解if语句和三元运算符互换 理解switch选择语句的格式和执行流程 掌握switch选择语句接收的数据类型 理解case的穿透性 掌握break在switch中的使用 掌握default在switch中的使用 了解Math.random()和Math

2022-05-24 08:38:57 278

原创 第2章 Java基础语法

JavaSE_第2章 Java基础语法学习目标 会使用单行注释和多行注释 能够辨识关键字 理解标识符的含义,正确定义标识符 理解Java中的基本数据类型分类 能够理解常量的概念 能够定义8种基本数据类型的变量 能够分清楚两种输出语句的区别 了解进制 理解基本数据类型的自动类型转换 理解基本数据类型的强制类型转换 了解ASCII编码表和Unicode编码表 理解int类型和char类型的运算原理 理解运算符++ --的运算方式 理解+符号在字符串中的作用 掌握算术运算符 掌

2022-05-24 08:16:08 548

原创 第1章 Java概述

JavaSE_第1章 Java概述学习目标 理解Java语言的跨平台实现原理 理解JDK/JRE/JVM的组成和作用 能够参照笔记配置环境变量 能够编写HelloWorld程序编译并执行1.1 JavaSE课程体系介绍见《第一个阶段课程体系介绍.xmind》1.2 计算机语言概述Java是一种计算机编程语言。1、计算机语言是什么所谓计算机编程语言,就是人们可以使用编程语言对计算机下达命令,让计算机完成人们需要的功能。2、计算机语言发展第一代:机器语言1946年2月14日,

2022-05-24 08:15:36 405

原创 关于HashMap的面试问题

关于HashMap的面试问题1、HashMap的底层实现答:JDK1.7及其之前的版本是数组+链表,JDK1.8是数组+链表/红黑树2、HashMap的数组的元素类型答:java.util.Map$Entry接口类型。JDK1.7的HashMap中有内部类Entry实现Entry接口JDK1.8的HashMap中有内部类Node和TreeNode类型实现Entry接口,并且TreeNode是Node的子类。3、为什么要使用数组?答:因为数组的访问的效率高或者说,根据[下标]操作效率

2022-05-24 08:14:35 158

原创 Kafka3.x重点归纳

第1章 Kafka概述1.1 定义1.2 传统消息队列的应用场景传统的消费队列的主要应用场景有:缓存/削峰、解耦、异步通信。1.3 消息队列的两种模式消息队列主要分为两种模式:点对点模式和发布/订阅模式。1.4 Kafka基础架构1)Producer :消息生产者,就是向kafka broker发消息的客户端;2)Consumer :消息消费者,向kafka broker取消息的客户端;3)Consumer Group (CG):消费者组,由多个consumer组成。消费者

2022-05-23 19:48:59 365

原创 Zookeeper重点归纳

第1章 Zookeeper入门1.1 概述Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。Zookeeper从设计模式角度来理解,是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生了变化,Zookeeper就负责通知已经在Zookeeper上注册的那些观察者做出相应的反应.(观察者模式)Zookeeper = 文件系统 + 通知机制1.2 特点1.3 数据结构1.4 应用场景

2022-05-18 15:34:54 66

转载 hadoop环形缓冲区原理

hadoop环形缓冲区

2022-05-11 20:44:58 1182

原创 Hadoop源码解析

Hadoop源码解析

2022-05-11 18:43:59 917

转载 hadoop面试题(全)

前言 来自大数据老哥的博客,[原文出处](https://blog.csdn.net/qq_43791724/article/details/113761869 用于查漏补缺1、集群的最主要瓶颈   磁盘IO 2、Hadoop运行模式   单机版、伪分布式模式、完全...

2022-05-06 19:01:59 5119

原创 hadoop Yarn面试重点

Yarn面试重点

2022-05-03 17:19:43 839

原创 hadoop HDFS 面试重点

HDFS面试重点

2022-05-03 17:18:36 862

原创 hadoop源码阅读(四)(分区源码)

分区源码

2022-04-30 23:12:58 502

原创 hadoop源码阅读(三)(InputFormat切片源码)

切片源码(原创不易)

2022-04-30 13:18:04 504

原创 MapReduce详细工作流程

MapReduce详细工作流程(未完成)

2022-04-28 18:20:32 3662

原创 hadoop源码阅读(二)(Job提交源码)

Job提交流程(原创不易)

2022-04-28 18:17:44 736

原创 hadoop源码阅读(一)(InputFormat源码)

记录一下读大数据框架源码的详细方法

2022-04-27 22:53:23 975

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除