- 博客(33)
- 收藏
- 关注
RSS订阅
原创 Java RMI 代码详解
概念： Java 远程方法调用 (RMI) 系统允许在一个 Java 虚拟机中运行的对象调用在另一个 Java 虚拟机中运行的对象上的方法。RMI 提供用 Java 编程语言编写的程序之间的远程通信。 RMI 应用程序通常包括两个独立的程序，一个服务器和一个客户端。典型的服务器程序创建一些远程对象，使这些对象的引用可访问，并等待客户端调用这些对象上的方法。典型的客户端程序获取对服务器上一个或多个远程对象的远程引用，然后调用它们的方法。RMI 提供了服务器和客户端通信和来回传递信息的机制。这种应用程序有
2021-07-08 16:06:30
373
原创 Java 集合详解 （超详细）
Java集合是什么？ 集合可以说是一种保存对象的容器，他可以将我们需要的多个对象进行存储，来方便我们对多个对象可以进行的一些操作。我们最先接触的Java容器时数组，但是为什么现在又要接触集合？这就要说明二者的区别了。我们在声明一个数组的时候，就需要确定数组的长度和数组所能存放元素的类型，然后才可以进行其他操作，这样数组的局限性也就体现出来了：当我们存储的数据在增多并且超过我们原先声明的长度时，我们需要扩展数组的长度才可以继续往里添加数据；而且数组中提供给我们操作数据的方法比较少；最后就是数组存储的...
2020-05-18 13:09:39
1426
原创 MapReduce执行流程之shuffle机制
介绍 shuffle机制是MapReduce执行过程中非常重要的一个流程。它处于Map阶段和Reduce阶段之间，它的具体处理步骤分布MapTask阶段和ReduceTask阶段。按照shuffle的机制，他可以将map阶段处理完成的数据重新排列组合（内部其实是在分区、排序、预聚合），最后将数据交给reduceTask处理。Shuffle中的缓冲区大小会影响到MapReduce程序的执行...
2020-04-22 11:10:25
656
原创 数据结构和算法——排序算法（下）
基数排序1、基数排序：又称桶子排序，它是通过键值的各个位的值，将要排序的元素fenp至某些“桶”中，达到排序的作用。基数排序法是属于稳定性的排序，基数排序法的是效率高的稳定性排序法。基数排序是使用空间换时间的经典算法。2、基排序基本思想：将所有待排序数补全成统一长度的数，数位短的前面用0补齐，然后从低位开始，依次排序，最后就会得到一个有序序列。下面画一张图，让大家更直观得看到基数排序...
2020-02-15 15:40:00
215
原创 数据结构和算法----查找算法（Java）
什么是查找算法？查找是在大量的信息中寻找一个特定的信息元素，在计算机应用中，查找是常用的基本运算。查找算法是用关键字标识一个数据元素，查找时根据给定的某个值，在表中确定一个关键字的值等于给定值的记录或数据元素。在计算机中进行查找的方法是根据表中的记录的组织结构确定的。在java中，我们常用的查找有四种：顺序查找（线性查找）、二分查找、插值查找、斐波那契查找。接下来我们就详细了解一下这四种...
2020-02-14 11:00:51
441
2
原创 Spring的声明式事务管理及事务的属性讲解
本篇博客利用例子来讲解为什么使用事务以及事务的一些属性和配置，耐心看完会有很大的帮助！！不对的地方也希望大家共同指出。1. 事务概述1. 在Java EE企业级开发的时候，为了在每次操作完成的同时，也保证数据的完整性，就需要引入数据库事物的概念。事务是什么？简单的来说就是一组由逻辑上紧密关联而合并成一个整体的多个数据库操作，通过事物的操作，我们可以保证数据的在每次访问或修改时都能保持一个...
2020-02-01 14:13:54
595
原创 IDEA实现Spring AOP（面向切面编程）实例
1.AOP怎么样理解？AOP(Aspect-Oriented Programming，面向切面编程)：是一种新的方法论，是对传统 OOP(Object-Oriented Programming，面向对象编程)的补充，底层是用动态代理实现。怎么理解面向切面变成呢？首先要明确 "切面" 的概念。切面其实就是一个类，这个类中定义着横切关注点的信息，而横切关注点就是从每个方法中抽取出来的同一类非核心...
2020-01-30 15:22:58
2614
原创 Spring的IOC容器以及Bean的配置
1.什么是Springspring是一个为简化企业开发而生的开源框架，我们使用Spring可以很简单、优雅地完成同样在EJB中要通过繁锁的配置和复杂的代码才能够实现的功能，不仅如此，Spring还是一个IOC（DI）和AOP容器。而且在IOC和AOP的基础上，Spring可以整合各种企业应用的开源框架和优秀的第三方类库。2.Spring的IOC容器2.1 IOC（Inversio...
2020-01-28 12:49:58
355
原创 springboot maven 打包时报错：程序包XXX不存在
今天springboot在打包时遇到一个问题，程序需要引用一些外部的jar包，但是maven厂库中没有这个版本，所以就选择手动添加到工程中，把jar包导入到新建文件夹lib下面，然后添加到工程中，但是在打包时，报错：这几个jar包找不到，奇怪了，明明程序中这个包也引用到了，也不报错，也可以找到这个包，但是就是打不进去。 遇到这个问题，需要配置一下：maven-compiler-plugin 即可。<plugin> <artifactId>mav.
2021-12-30 10:11:42
1867
2
原创 Java poi 集合转存Excel ExcelUtil工具类案例
话不多说，先上工具类。里面的逻辑是将读到的数据转存list再进行插入excel、如果是读数据库 也可以将里面的逻辑改成遍历实体，道理是一样的。excel工具类有俩种方法，java excel 和apache poi；本文是利用apache poi 进行编写，另一种方法在另一篇文章中。package utils;import org.apache.poi.hssf.usermodel.*;import org.apache.poi.ss.usermodel.BorderStyle;impor..
2021-11-18 18:58:40
1280
原创 Java jxl 集合转存Excel ExcelUtil工具类案例
java代码 数据保存入excel，excelUtil excel工具类，可以应用到所有场景。
2021-11-17 18:54:18
1327
原创 Hive 分区表插入数据时报错：Failed with exception MetaException(message:For direct MetaStore DB connections
Loading data to table db_hive.dept_partition partition (month=202104)Failed with exception MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)FAILED: Execution Error, return code 1 from org.apache.h..
2021-04-23 15:26:03
1452
2
原创 Window配置Hadoop环境变量
将Hadoop放在一个英文且无空格的目录下。 此电脑-右击属性-高级系统设置-环境变量 打开环境变量，发现环境变量分为用户变量和系统变量。用户变量是只设置对该用户生效的变量；系统变量设置之后，是对window下所有用户都生效。我们一般都在系统变量里面设置。 在系统变量中点击新建，输入变量名和变量值，点击确定。变量名注意要大写。 在系统变量中找到Path，双击进入 点击新建，输入如下参数点击完成。 验证：打开hadoop目录下的/bin，找...
2021-03-24 17:30:51
653
原创 LINUX 编写shell脚本时 报错：xx命令未找到命令
今天在编写 备份数据库的脚本时，设置环境变量之后运行，结果报命令未找到原因：不可以将环境变量名 定义为PATH这个名字。修改环境变量名称为 BACK_UP_PATH即可。
2020-08-22 23:04:57
3387
转载 HADOOP格式化ZKFC报org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: –formatZK
博主在搭建HADOOP集群时，在格式化ZKFC时，总报org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: –formatZK。后来经大神指点，原来hdfs zkfc -formatZK这个命名，不要粘贴，一定要手打！！ 防不胜防啊！...
2020-08-18 14:12:24
999
1
原创 Spark Standalone模式启动报错： JAVA_HOME is not set
只需要vim sbin/spark-config.sh，在此文件中导入JAVA_HOME环境变量即可正常启动。
2020-07-19 11:05:20
241
原创 Hive建表时报错 FAILED: ParseException line 2:0 character ' ' not supported here
在hiva中建表时hive (gmall)> create external table ods_user_info( > `id` string COMMENT '用户id', > `name` string COMMENT '姓名', > `birthday` string COMMENT '生日', > `gender` string ...
2020-05-11 22:35:01
4444
原创 Flink——入门WordCount程序
Flink是什么？Apache Flink is a framework and distributed processing engine for stateful computations overunbounded and boundeddata streams. Flink has been designed to run inall common cluster environments, perform computations atin-memory speedand ata...
2020-05-09 14:44:39
281
原创 HDFS——读数据与写数据
HDFS读数据流程客户端通过FileSystem 向NameNode发送请求，请求读取文件。 NameNode收到请求，检查文件是否存在，存在就将文件的元数据信息返回给客户端。 客户端收到存放数据的节点信息，创建FSDataOutputStream读取节点1的数据，客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。 传输完成继续读取节点2的数据.... 客户端关闭流。读...
2020-04-16 11:27:33
246
原创 Hadoop集群安全模式概述
我们在刚启动hadoop集群的时候，肯定碰到过集群处于安全模式的情况，这个时候集群是只读的状态，不允许用户对其进行更改操作。那么这时候为什么会出现这样的情况，而这时集群在干什么呢？什么时候会退出安全模式呢？安全模式有什么用呢？ 什么时候集群会进入安全模式？ NameNode启动时：在NameNode启动的时候，他会加载俩个文件，一个是FSimage，一个是Edits。这个俩个文...
2020-04-15 12:25:42
643
原创 MySQL错误代码:1452 Cannot add or update a child row: a foreign key constraint fails
查询：ALTER TABLE score ADD FOREIGN KEY(movie_id) REFERENCES `movie` (id) 错误代码： 1452Cannot add or update a child row: a foreign key constraint fails (`mydb`.`#sql-1118_1`, CONSTRAINT `#sql-1118_1_ibfk_...
2020-04-06 10:18:33
1224
3
原创 数据结构和算法——排序算法（上）
1、冒泡排序冒泡排序：冒泡排序是依次比较待排序序列中相邻的俩个元素大小，将较大的元素和较小的元素交换位置，这样一轮比较下来，序列中最大值的数就会置于序列最后，然后重复第二轮比较将第二大的数放在倒数第二位以此类推，最终会得到一个有序序列。冒泡排序是使值较大的元素逐渐从前移向后部，就象水底下的气泡一样逐渐向上冒，因此得名。public class BubbleSort { pub...
2020-02-17 13:18:18
137
1
原创 二叉查找树 Binary Sort Tree（二叉排序树）
为什么使用二叉排序树？我们在存储数据时，需要考虑其增删改查的速度。例如未排序的数组添加很快，直接在尾部添加，但是查询很慢；排序好的数组再添加数据时需要找到添加的位置再将后面的数据全部移动，但是检索速度很快，可以用二分查找方法；而链表结构存储数据插入很快，但是检索也比较慢，所以为了提高检索速度并且不减慢添加速度，我们就需要用到二叉排序树来解决。1、二叉排序树二叉排序树（Binar...
2020-02-16 19:09:19
308
原创 数据结构和算法（1）-- 稀疏数组(java代码实现)
1.数据结构1.1 数据结构包括：线性结构和非线性结构。 线性结构： > 线性结构是最常用的数据结构，他的特点是数据元素之间存在一对一的线性关系。 > 线性结构有两种不同的存储结构：顺序存储结构和链式存储结构。一般顺序存储的线性表称为顺序表，顺序表中存储元素是连续的。 > 链式存储的线...
2020-02-03 11:11:25
153
原创 Spring入门案例(IDEA)：HelloWorld
1.打开idea、创建一个maven工程。2.打开pom.xml，导入spring所需要的依赖。 <dependencies> <!-- https://mvnrepository.com/artifact/org.springframework/spring-context --> <dependency> ...
2020-01-28 13:09:26
388
原创 Mybatis基础入门案例
1. MyBatis简介1.1mybatis的历史 MyBatis是Apache的一个开源项目iBatis, 2010年6月这个项目由Apache Software Foundation 迁移到了Google Code，随着开 发团队转投Google Code旗下， iBatis3.x 正式更名为MyBatis ，代码于2013年11月迁移到Github。1.2什么是M...
2020-01-20 19:51:59
454
原创 利用SringMvc来实现文件上传功能
概述：springmvc文件上传是将本地文件上传到tomcat服务器的某个文件夹下。Spring MVC 为文件上传提供了直接的支持，这种支持是通过即插即用的 MultipartResolver 实现的。Spring MVC 的上下文中默认是没有装配 MultipartResovler，如果想要使用需要先配置一下。接下来就详细讲一下文件上传的基本步骤。流程：1.首先需要新建web项目，...
2020-01-16 21:57:38
266
原创 解决SpringMvc加载静态资源时出现No mapping found for HTTP request with URI的问题
在搭建SpringMvc框架加载静态资源时，访问web页面没什么异常，就是无法加载静态资源，控制台出现No mapping found for HTTP 错误。根据错误信息可以看出，发送的静态资源交给了DispatcherServlet，因为DispatcherServlet的<url-pattern> 配置的是/，所以会匹配到所有的请求（排除jsp的请求）。而我们所发送的.j...
2020-01-14 18:20:24
2124
1
原创 Storm主要组件
首先扣一张最经典的图片，也是官网的首页图片，就可以很好的解释。1.spoutStorm中的spout组件就是图中画出的水龙头，它就是数据源，Storm处理数据要完成实时数据处理首先需要有数据源将数据输入，那么spout就是数据源的功能。2.boltStorm中的bolt组件就是图中的小水滴，它是数据流处理组键，数据源spout将数据发送过来会交给bolt进行处理。可以从图中看出，一个spo...
2019-10-24 22:40:55
982
原创 利用flume动态收集nginx下沉的日志文件
1.在第一台虚拟机上（wei-1）安装nginx，步骤如下：（1）首先安装make：yum -y install gcc automake autoconf libtoolmake（2）再安装g++：yuminstall gcc gcc-c++（3）在安装openssl：yum -y install openssl openssl-devel（4）安装PCRE库：解压到apps...
2019-10-11 12:58:06
230
原创 springboot框架添加mybatis功能（idea）
该工程主要目的是通过后台将用户输入的username和password获取，和数据库中的user表中的username和password进行比较，如果对应则登陆成功，否则登陆失败。1、创建一个dao包，编写userMapper接口，接口里面只写一个方法。接口相当于客户，只写出自己的需求，例如需要按照名字查找：User selByName（String name)@Repositorypub...
2019-09-26 09:46:37
271
原创 kafka常用命令
1.查看集群有哪些topic./kafka-topics.sh —zookeeper node-1:2181,node-2:2181,node-3:2181 —list2.创建topic（队列）./kafka-topics.sh —zookeeper node-1:2181,node-2:2181,node-3:2181 —create topic t0916 —partitions 3 ...
2019-09-16 12:42:16
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人