- 博客(30)
- 收藏
- 关注
RSS订阅原创 Docker
镜像就是包含了应用程序、程序运行的系统函数库、运行配置等文件的文件包。构建镜像的过程其实就是把上述文件打包的过程。镜像结构：入口（Entrypoint）：镜像运行入口，一般是程序启动的脚本和参数。层（Layer）：添加安装包、依赖、配置等，每次操作都形成新的一层。基础镜像（BaseImage）：应用依赖的系统函数库、环境、配置、文件等。加入自定义网络的容器才可以通过容器名命令说明文档地址创建一个网络查看所有网络删除指定网络清除未使用的网络使指定容器连接加入到某网络使指定容器连接离开某网络。
2023-11-16 23:45:03
269
原创 Java进阶
Java进阶一、双列集合1、特点：2、Map的常见API3、Map集合遍历4、HashMap4.1、特点4.2、案例5、LinkedHashMap5.1、特点5.2、案例6、TreeMap6.1、特点6.2、案例16.3、案例2：6.4、案例3：7、总结二、不可变集合三、Stream流1、作用：2、使用步骤3、在各个数据结构中的使用4、stream中的方法4.1、中间方法4.1.1、filter4.1.2、limit、skip4.1.3、distinct4.1.4、concat4.1.5、map4.1.6、
2023-11-16 14:05:32
131
原创 大数据可视化技术之Superset
是一个开源的数据探查与可视化平台（曾用名 Panoramix、Caravel ），该工具在可视化、易用性和交互性上非常有特色，用户可以轻松对数据进行可视化分析。Superset 也是一款企业级商业智能 Web 应用程序。是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。
2023-10-31 13:34:01
284
原创 Sqoop的使用
sqoop是Apache旗下的一款Hadoop和关系型数据库服务器之间传输数据的工具。导入数据（import）：MySQL、Oracle导入数据到hadoop的HDFS、Hive、HBase等数据存储系统导出数据（export）：从Hadoop的文件系统中导出到关系型数据库中。
2023-10-27 16:31:55
43
原创 Flume的使用
Flume（Apache Flume）是一个用于收集、聚合和传输大量日志数据的分布式服务。它被设计成高度可靠、可扩展、可管理的，可以处理大规模数据流的系统。Flume通常用于将日志数据从各种数据源（如应用程序、Web服务器、传感器等）收集到中央存储或数据处理系统（如Hadoop、HBase等）中。
2023-10-27 16:16:30
24
原创 JAVA异常
Error：代表系统级别的异常（属于严重问题），系统一旦出现问题，sun公司会把这些错误封装成Error对象。Error是sun公司给自己用 的，不是给我们程序员用的，因此开发人员不用管它。Exception：叫做异常，是异常体系的父类，代表可能出现的问题。我们通常会用Exception以及它的子类来封装程序出现的问题。Exception分为两类：：运行时异常，RuntimeException及其子类，编译阶段不会出现异常提醒。
2023-10-22 17:25:33
20
原创 Java方法引用
方法引用：把已经存在的方法拿过来用，当做函数式接口中的抽象方法的方法体。方法应用时的注意事项：需要有函数式接口被引用方法最好已经存在，这样才够简洁，不然自己又要定义一个方法。被引用方法的形参和返回值需要和抽象方法保持一致被引用方法的功能要满足当前的需求方法引用分类：引用静态方法引用成员方法引用其他类的成员方法引用本类的成员方法引用父类的成员方法引用构造方法其他调用方式使用类名引用成员方法引用数组的构造方法。
2023-10-22 09:33:11
14
原创 双列集合使用
TreeMap添加元素的时候，键不需要重写hashCode和equals方法，压根没用到hashCode和equals方法。使用红黑树规则添加的元素，是使用Comparable来比较key是否相等，返回0表示相等，自定义对象必须实现这个接口。HashMap是哈希表结构，JDK8开始由数组，链表，红黑树组成。虽然有红黑树，但HashMap的底层是使用哈希值和equals方法来创建红黑树的，所以不需要实现Comparable接口。
2023-10-21 12:27:16
32
1
原创 SVN的使用
Apache Subversion 通常被缩写成 SVN，是一个开放源代码的版本控制系统，Subversion 在 2000 年由 CollabNet Inc 开发，现在发展成为 Apache 软件基金会的一个项目，同样是一个丰富的开发者和用户社区的一部分。SVN相对于的RCS、CVS，采用了分支管理系统，它的设计目标就是取代CVS。互联网上免费的版本控制服务多基于Subversion。Subversion(SVN) 是一个开源的版本控制系統, 也就是说 Subversion 管理着随时间改变的数据。
2023-10-20 21:25:48
34
1
原创 Hive安装
Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。简单的说，就是数据存储在HDFS中，Hive将HQL语句转换成MapReduce程序进行计算操作。Hive就存个元数据，主要是MapReduce太难写了，复杂的业务实现起来，太麻烦了。
2023-10-20 19:54:56
32
1
原创 SecondNameNode的介绍
Second NameNode（次级NameNode）是Apache Hadoop中的一个组件，它的作用是帮助提高Hadoop集群的可靠性。在Hadoop中，NameNode是一个关键的组件，它保存了文件系统的命名空间和文件元数据，但它是单点故障。如果NameNode发生故障，整个Hadoop集群将不可用。为了解决这个问题，Hadoop引入了Second NameNode。它并不是NameNode的热备份，也不是一个实时的备份。
2023-10-20 19:47:51
194
1
原创 HDFS文件上传和下载流程
1、HDFS上传文件客户端请求上传文件：客户端（通常是Hadoop集群中的一个节点）发出上传文件的请求，改请求包括文件的本地路径、文件名以及在HDFS中的目标路径NameNode验证请求：客户端请求首先到达集群中的NameNode，NameNode负载管理HDFS的文件系统命名空间和元数据。NameNode验证客户端的权限，，确保客户端有权向指定的目标路径上传文件；查看文件名是不是在当前目录下重复。。。自检分块和数据节点选择：当符合上传文件要求时，NameNode确定文件应该如何分块（默认情况下，H
2023-10-20 19:46:13
720
1
原创 Hadoop企业级部署
主节点，将node02和node03的磁盘挂载过来。在node01节点添加root用户权限的环境变量。在每个节点配置环境变量。
2023-10-17 21:06:59
25
原创 Spring Batch批处理框架
一般而言，大数据处理执行时间普遍比较长，中途可能会发生各种意外，那么记录运行元数据尤为必要。大数据场景下，数据源的数据量一般比较大，不可能一次性将数据源数据拉到内存中，一方面硬件内存不支持，另一方面等待时间过长，在这样的背景下，批处理被提出。由于是一组一组的（取数据 -> 处理数据 -> 写数据），即便是物理机内存不是很大，也能够处理大数据场景需求。批处理按照一组一组的方式从数据源拉取数据到内存中，处理完成后，批量写入目标数据源。在application.yml编写配置。批处理广泛应用于大数据场景。
2023-10-15 16:20:25
65
原创 springboot2.6.x循环依赖问题
解决方法一：在application.properties中添加如下(治标不治本)解决方法三：将两个互相引用的类的方法抽取出来，放到一个新的类中。将成员变量转化为方法调用。
2023-10-15 11:03:00
103
原创 为什么官方不推荐使用@Autowired属性注入
由于这种方法要写构造方法，每注入个新变量就要修改，变量一多，构造方法就变得很长。中的@RequiredArgsConstructor注解帮我们实现构造方法。注解时，Lombok 会自动为该类生成一个包含所有==是 Lombok 提供的注解之一。注解会生成一个包含所有类字段的构造方法，包括。
2023-10-15 09:57:27
836
1
原创 Linux中安装nginx
nginx 的 http 模块使用 pcre 来解析正则表达式，所以需要在 linux 上安装 pcre 库。pcre-devel 是使用 pcre 开发的一个二次开发库。：OpenSSL 是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及 SSL 协议，并提供丰富的应用程序供测试或其它目的使用。：zlib 库提供了很多种压缩和解压缩的方式，nginx 使用 zlib 对 http 包的内容进行 gzip，所以需要在 linux 上安装 zlib 库。
2023-10-12 22:12:39
14
原创 Linux集群中安装Zookeeper
Zookeeper翻译过来就是动物园管理员，它是用来管Hadoop（大象）、Hive（蜜蜂）、Pig（小猪）的管理员，简称zk。Zookeeper是Apache Hadoop项目下的一个子项目，是一个树形目录服务。Zookeeper是一个开源的分布式应用程序的协调服务。Zookeeper提供的主要功能包括。
2023-10-12 22:11:59
16
原创 Hadoop配置
bin：存放Hadoop的各类程序（命令）etc：存放Hadoop的配置文件include：C语言的一些头文件lib：存放Linux系统的动态链接库（.so文件）libexec：存放配置Hadoop系统的脚本文件（.sh和.cmd）licenses-binary：存放许可证文件sbin：管理员程序（super bin）share：存放二进制源代码（java jar包）
2023-09-04 11:14:10
105
1
原创 Spring的使用
Spring：春天———–》给软件行业带来了春天2002，首次推出了Spring框架的雏形：interface21框架Spring框架即以interface21框架为基础，经过重新设计，并不断丰富其内涵，于2004年3月24日发布了1.0正式版，Spring Framework创始人，他是悉尼大学博士，专业是音乐学Spring理念：使现有的技术更加容易使用，本身是一个大杂烩，整合了现有的技术框架Spring框架是一个开放源代码的J2EE。
2023-08-13 12:39:20
177
1
原创 MyBatis的使用
LOG4J是Apache的一个开源项目，通过使用LOG4J，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是。
2023-08-04 16:00:25
41
1
原创 Caused by: java.sql.SQLException: No suitable driver found for http://www.example.com
报错。
2023-07-30 12:00:24
96
1
原创 实现文件上传
1.为保证服务器安全，上传文件应该放在外界无法直接访问到的目录下，比如放到WEB-INF目录下2、为了防止文件覆盖，要为上传文件产生一个唯一的文件名3、限制上传文件的最大值4、可以限制上传文件的类型，在上传文件名时，判断后缀名是否合法5、表单如果包含一个文件上传输入项的话，这个表单的enctype属性就必须设置为multipart/form-data,不对字符编码。
2023-07-26 16:07:16
159
1
原创 MyBatis的简单使用
maven由于他们的约定大于配置，我们之后可能遇见我们写的配置文件，无法被导出或者生效，解决方法。5、编写UserMapper.xml。在resources目录下创建。
2023-07-25 10:28:28
45
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人