- 博客(38)
- 资源 (18)
- 收藏
- 关注
RSS订阅原创 Hadoop 中的小文件
一、何为小文件？A small file can be defined as any file that is significantly smaller than the Hadoop block size. The Hadoop block size is usually set to 64,128, or 256 MB, trending toward increasingly larger block sizes. Throughout the rest of this blog when pro
2020-08-31 19:20:34
351
原创 Kerberos常见错误及解决方案
1、 Kerberos启动后台日志提示异常：No such file or directory – while initializing database for realm HADOOP.COM在/var/log/krb5kdc.log中发现No such file or directory – while initializing database for realm HADOOP.COM。解决方案：①： 检查kdc.conf和krb5.conf文件是否配置正确,修改配置，注意：配置文件的[kdc
2020-08-31 19:18:47
15861
1
原创 Kafka中unclean.leader.election.enable参数的内涵
Kafka中unclean.leader.election.enable参数的内涵官网说明：http://kafka.apache.org/documentation/#configuration参考上图，某种状态下，follower2副本落后leader副本很多，并且也不在leader副本和follower1副本所在的ISR（In-Sync Replicas）集合之中。follower2副本正在努力的追赶leader副本以求迅速同步，并且能够加入到ISR中。但是很不幸的是，此时ISR中的所有副本都突然
2020-08-31 19:16:57
1503
原创 Springcloud之Gateway入门
API 网关出现的原因是微服务架构的出现，不同的微服务一般会有不同的网络地址，而外部客户端可能需要调用多个服务的接口才能完成一个业务需求，如果让客户端直接与各个微服务通信，会有以下的问题：破坏了服务无状态特点。为了保证对外服务的安全性，我们需要实现对服务访问的权限控制，而开放服务的权限控制机制将会贯穿并污染整个开放服务的业务逻辑，这会带来的最直接问题是，破坏了服务集群中REST API无状态的特点。从具体开发和测试的角度来说，在工作中除了要考虑实际的业务逻辑之外，还需要额外考虑对接口访问的控制处理。
2020-08-31 17:39:20
179
原创 Springcloud和dubbo的区别
随着近几年微服务的兴起，最近大家对springcloud和dubbo的讨论越来越多，那么下面我们简单来看看这两者使用中的不同有哪些，以下观点仅供参考。1、 架构完整度（见上图）或许很多人会说Spring Cloud和Dubbo的对比有点不公平，Dubbo只是实现了服务治理，而Spring Cloud下面有17个子项目（可能还会新增）分别覆盖了微服务架构下的方方面面，服务治理只是其中的一个方面，一定程度来说，Dubbo只是Spring Cloud Netflix中的一个子集。但是在选择框架上，方案完整度
2020-08-31 17:34:52
1221
原创 StringRedisTemplate和RedisTemplate的使用区别
最近在使用redis的过程中，整合java的时候，用redisTemplate的过程产生一个bug，通过stringRedisTemplate解决了，这里分享下解决过程，仅供参考。RedisTemplate使用的序列类在在操作数据的时候，比如说存入数据会将数据先序列化成字节数组，然后在存入Redis数据库，这个时候打开Redis查看的时候，你会看到你的数据不是以可读的形式展现的，而是以字节数组显示，类似下面RedisTemplate就无法获取导数据，这个时候获取到的值就是NULL。百度找一圈都没有类
2020-08-31 17:31:59
283
原创 运算符和表达式
运算符和表达式1. 运算符和表达式的概念1.1 运算符运算符就是参与运算的符号，像+、-、*、/等。与运算符一起运算的变量、直接量称之为操作数。1.2 表达式1) 表达式是变量或者直接量与运算符组成的式子，表达式会有一个计算结果，称之为表达式的值，也就是说表达式是有值的。2) 最简单的表达式是"原始表达式", 如 直接量、 变量名、 关键字等。3) 复杂表达式由简单表达式组成, 运算符何以将简单表达式组合成复杂表达式。4) 注意带有副作用的表达式，这样的表达式除了有表达.
2020-08-31 14:29:35
3989
原创 js中基本数据类型及其类型判断
数据类型数据类型的分类基本数据类型：数字Number 字符串String 布尔值Boolean undefined null对象数据类型基本数据的使用数字： 整数 小数 二进制 八进制 十六进制 科学计数法 字符串：引号（单双引号都可以）包含的文本 布尔值：true和false undefined：undefined null：null //1、数字 Number var num = 10;//整数 num = -10; num...
2020-08-31 14:23:31
505
原创 详解js中的变量
什么是变量变量：可以变化的量称作变量。常量：不可以改变的量称作常量。为什么要有变量程序：代码的集合，一般指的是文件，静态的。进程：程序的一次执行过程，动态的。程序执行过程其实就是：输入数据、运算数据和输出数据的过程。数据需要存储，那么就需要容器，变量扮演的就是容器的角色。变量的本质归根结底就是一块内存（计算机的三大存储部件）变量的定义先定义再赋值定义的同时初始化不带var定义变量同时定义多个变量 //1、先定义后赋值 var a;//定义
2020-08-31 14:17:35
348
原创 Flink1.11.0 flink on yarn 模式部署详解
上月，Flink发布了新版本1.11.0，增加了很多重要新特性，包括增加了对Hadoop3.0.0以及更高版本Hadoop的支持，不再提供“flink-shaded-hadoop-*” jars，而是通过配置YARN_CONF_DIR或者HADOOP_CONF_DIR和HADOOP_CLASSPATH环境变量完成与yarn集群的对接。具体步骤如下：下载Flink1.11.0安装包flink安装包下载地址确保安装有Hadoop集群，版本至少Hadoop 2.4.1配置环境变量增加环境变量如下：
2020-08-28 15:10:39
4146
原创 mvn install解决依赖报红
写一个简单的spark读取phoenix的工具类代码，导入phoenix-spark的依赖之后，maven依赖一直报红，尝试各种解决办法，包括删除仓库中.lastupdated文件后reimport，使用compile命令下载依赖，使用invalidate cache and restart重启idea等等，均未得到解决。而且在maven仓库里可以找到这个jar包，但是这个jar包的依赖包全线爆红，怀疑是maven对这个jar包的安装有问题。pom文件如下<dependency> &
2020-08-27 17:08:52
1062
原创 详解外观模式
外观模式是为了解决类与类之家的依赖关系的，像spring一样，可以将类和类之间的关系配置到配置文件中，而外观模式就是将他们的关系放在一个Facade类中，降低了类类之间的耦合度，该模式中没有涉及到接口，看下类图：（我们以一个计算机的启动过程为例）我们先看下实现类：public class CPU { public void startup(){ System.out.println("cpu startup!"); }
2020-08-26 15:26:01
239
原创 详解装饰模式
顾名思义，装饰模式就是给一个对象增加一些新的功能，而且是动态的，要求装饰对象和被装饰对象实现同一个接口，装饰对象持有被装饰对象的实例，关系图如下：Source类是被装饰类，Decorator类是一个装饰类，可以为Source类动态的添加一些功能，代码如下：public interface Sourceable { public void method(); } public class Source implements Sourceable { @Override
2020-08-26 15:25:14
81
原创 详解建造者模式（Builder）
工厂类模式提供的是创建单个类的模式，而建造者模式则是将各种产品集中起来进行管理，用来创建复合对象，所谓复合对象就是指某个类具有不同的属性，其实建造者模式就是前面抽象工厂模式和最后的Test结合起来得到的。我们看一下代码：还和前面一样，一个Sender接口，两个实现类MailSender和SmsSender。最后，建造者类如下：public class Builder { private List<Sender> list = new ArrayList<Sen
2020-08-26 15:21:42
112
原创 EL表达式知多少？
一、el是什么EL表达式的全称是Expression Languege,是表达式语言.二、el的作用 <========>代替jsp的表达式脚本<%=%>EL表达式主要是为了代替jsp页面中的表达式脚本在页面上输出数据.因为EL表达式的输出要比jsp页面表达式脚本输出代码更加简洁.<%@ page contentType="text/html;charset=UTF-8" language="java" %><html><head>
2020-08-24 14:10:16
510
原创 Session知多少？
一、什么是session？①：Session是一个接口,类名是HttpSession.②：Session是一个域对象( 域对象是可以像map一样存取数据的对象,域是数据操作的有效范围 )③：我们经常会把用户登录之后的信息,保存到Session域中.④：一般情况下.一个会话对象表示一个客户端( 服务器会为每个客户端都创建一个Sessison会话对象 )⑤：Session是用于维护客户端和服务器之间关联的一种技术.二、如何创建Session和获取(id号,是否为新)？会话是用来表示一个客户端的对象
2020-08-24 14:05:36
225
原创 Cookie知多少？
一、什么是cookie？①：Cookie翻译过来是饼干.②：Cookie是服务器通知客户端保存键值对的一种技术.③：每个 Cookie的大小不能超过4kb④：每次请求的时候,只要客户端有Cookie,都会被发送给服务器.二、如何创建Cookie？①：在服务器端new Cookie( name, value ) ;②：调用 response.addCookie( cookie ); 通知客户端Cookie 保存( 或修改 ) /** * 创建cookie * @param
2020-08-24 14:00:44
135
原创 MyBatis
一、MyBatis简介MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架 MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集 MyBatis可以使用简单的XML或注解用于配置和原始映射，将接口和Java的POJO（Plain Old Java Objects，普通的Java对象）映射成数据库中的记录 Mybatis 是一个 半自动的ORM（ObjectRelation Mapping）框架二、如何下载MyBatis下载网址： htt...
2020-08-23 10:37:03
70
原创 zTree
一、zTree 简介zTree 是一个依靠 jQuery 实现的多功能 “树插件”。优异的性能、灵活的配置、多种功能的组合是 zTree 最大优点。zTree 是开源免费的软件。二、zTree特点zTree v3.0 将核心代码按照功能进行了分割，不需要的代码可以不用加载 采用了 延迟加载 技术，上万节点轻松加载，即使在 IE6 下也能基本做到秒杀 兼容 IE、FireFox、Chrome、Opera、Safari 等浏览器 支持 JSON 数据 支持静态 和 Ajax 异步加载
2020-08-23 10:32:26
208
原创 MySQL高可用配置
MySQL中存储着Hive所有表格的元数据信息，一旦MySQL中的数据丢失或损坏，会对整个数据仓库系统造成不可挽回的损失，为避免这种情况的发生，我们可以选择每天对元数据进行备份，进而实现MySQL HA（High Availability高可用）。MySQL的HA方案不止一种，本文介绍较为常用的一种——基于keepalived的MySQL HA。MySQL的HA离不开其主从复制的技术。主从复制是指一台服务器充当主数据库服务器（master），另一台或多台服务器充当从数据库服务器（slave），从服务器（
2020-08-21 21:13:30
361
原创 网络编程学习之路
主要内容 软件架构CS／BS 网络通信三要素 TCP通信 Socket套接字 ServerSocket 第一章 网络编程入门1.1软件结构 C/S结构 ：全称为Client/Server结构，是指客户端和服务器结构。常见程序有ＱＱ、迅雷等软件。B/S结构 ：全称为Browser/Server结构，是指浏览器和服务器结构。常见浏览器有谷歌、火狐等。两种架构各有优势，但是无论哪种架构，都离不开网络的支持。网络编程，就是在一定的协议下，实现两台计算机 的通信的
2020-08-18 15:37:36
219
原创 缓冲流、转换流、序列化流、打印流总结
第一章 缓冲流 缓冲流,也叫高效流，是对4个基本的 FileXxx 流的增强，所以也是4个流，按照数据类型分类： 字节缓冲流： BufferedInputStream ， BufferedOutputStream 字符缓冲流： BufferedReader ， BufferedWriter 缓冲流的基本原理，是在创建流对象时，会创建一个内置的默认大小的缓冲区数组，通过缓冲区读写，减少系统IO 次数，从而提高读写的效率。1.1字节缓冲流 构造方法 public Buffe.
2020-08-18 15:37:15
149
原创 字节流、字符流入门
第一章 字节流 1.1 字节输入流【InputStream】java.io.InputStream抽象类是表示字节输入流的所有类的超类，可以读取字节信息到内存中。它定义了字节输入流的基本共性功能方法。public void close()：关闭此输入流并释放与此流相关联的任何系统资源。public abstract int read()：从输入流读取数据的下一个字节。public int read(byte[] b)：从输入流中读取一些字节数，并将它们存储到字节数组b中...
2020-08-18 15:36:56
134
原创 虚拟机有三种网络模式，分别是桥接、NAT、Host-Only
桥接定义：桥接（Bridging），是指依据OSI网络模型的链路层的地址，对网络数据包进行转发的过程，工作在OSI的第二层。一般的交换机，网桥就有桥接作用。俗的说就是通过一台设备（可能不止一个）把几个网络串起来形成的连接。在虚拟机中指本地物理网卡和虚拟网卡通过VMnet0虚拟交换机进行桥接，由于物理网卡和虚拟网卡处于同一地位，相当于处于同一网段，所以要将两个网卡的IP地址也要设为同一网段。使用桥接网络：虚拟机ip与本机在同一网段，本机与虚拟机可以通过ip互通，本机联网状态下虚拟机即可联网，同时虚拟机与本
2020-08-13 12:00:06
630
1
原创 linux 关机重启 shutdown和reboot的区别
在linux命令中reboot是重新启动,shutdown -r now是立即停止然后重新启动，都说他们两个是一样的，其实是有一定的区别的。shutdown命令可以安全地关闭或重启Linux系统，它在系统关闭之前给系统上的所有登录用户提示一条警告信息。该命令还允许用户指定一个时间参数，可以是一个精确的时间，也可以是从现在开始的一个时间段。 精确时间的格式是hh:mm，表示小时和分钟，时间段由+ 和分钟数表示。系统执行该命令后会自动进行数据同步的工作。 该命令的一般格式: shutdown [
2020-08-13 11:48:46
2775
原创 ZK常用命令
ZK常用命令zkcli脚本命令介绍zkcli 连接默认zookeeper服务器zkcli -server ip:port 连接指定的zookeeper服务器create -s -e path data [acl] 创建节点，-s表示顺序，-e表示临时，默认是持久节点，acl缺省表示不做任何权限限制ls path [watch] 显示path下的节点，不递归显示,watch注册监听，命令行可忽视ls2 path 显示当前节点下的节点和当前节点的属性信息get pat
2020-08-13 11:33:28
501
原创 配置集群ssh 免密登陆
（1）生成公钥和私钥：ssh-keygen -t rsa然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）（2）将公钥拷贝到要免密登录的目标机器上ssh-copy-id hadoop102ssh-copy-id hadoop103ssh-copy-id hadoop104注意：还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；还需要在hadoop103上采用atguigu账号配
2020-08-03 15:33:54
226
原创 线程池相关问题
线程池相关问题问题1:为什么要使用线程池,优势是什么?线程池做的工作主要是控制运行的线程的数量，处理过程中将任务放入队列，然后在线程创建后启动这些任务，如果线程数量超过了最 大数量超出数量的线程排队等候，等其它线程执行完毕，再从队列中取出任务来执行。他的主要特点为:线程复用;控制最大并发数:管理线程。第一:降低资源消耗。通过重复利用己创建的线程降低线程创建和销毁造成的消耗。第二:提高响应速度。当任务到达时，任务可以不需要的等到线程创建就能立即执行。第三:提高线程的可管理性。线程是稀缺资源，如果无
2020-08-03 15:32:19
284
原创 配置集群分发脚本
在/home/atguigu目录下创建bin目录，并在bin目录下创建xsync文件[atguigu@hadoop101 hadoop] cd /home/atguigu[atguigu@hadoop101 ~] mkdir bin [atguigu@hadoop101 bin] touch xsync[atguigu@hadoop101 bin] vim xsync在该文件中编写如下代码#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo N
2020-08-03 15:32:11
243
原创 CAS算法的认识和看法
ASCCAS的全称为Compare-And-Swap，它是一条CPU并发原语。它的功能是判断内存某个位置的值是否为预期值，如果是则更改为新的值，这个过程是原子的。CAS并发原语体现在JAVA语言中就是sun.misc.Unsafe类中的各个方法。调用UnSafe类中的CAS方法，JVM会帮我们实现出CAS汇 编指令。这是一种完全依赖于硬件的功能，通过它实现了原子操作。再次强调，由于CAS是一一种系统原语，原语属于操作系统用语 范畴，是由若干条指令组成的，用于完成某个功能的一-个过程，并且原语的执行必须
2020-08-03 15:30:14
324
原创 centos7安装jdk
1、将JDK安装包上传到Linux /opt目录下2、解压JDK到/opt/module目录下tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/3、配置JDK环境变量（1）新建/etc/profile.d/my_env.sh文件sudo vim /etc/profile.d/my_env.sh#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_212export PATH=$PATH:$JAV
2020-08-03 15:29:48
98
原创 谈谈你对JMM的理解和认识?
JMM(Java内存模型Java Memory Model,简称JMM)本身是一种抽象的概念并不真实存在，它描述的是一组规则或规范，通过这组 规范定义了程序中各个变量(包括实例字段，静态字段和构成数组对象的元素)的访问方式。JMM关于同步的规定:1线程解锁前，必须把共享变量的值刷新回主内存2线程加锁前，必须读取主内存的最新值到自己的工作内存3加锁解锁是同一把锁由于JVM运行程序的实体是线程，而每个线程创建时JVM都会为其创建一-个工作内存(有些地方称为栈空间)，工作内存是每个线程 的私有数据区域，
2020-08-03 15:27:49
479
1
原创 详解原型模式
原型模式（Prototype）原型模式虽然是创建型的模式，但是与工程模式没有关系，从名字即可看出，该模式的思想就是将一个对象作为原型，对其进行复制、克隆，产生一个和原对象类似的新对象。在Java中，复制对象是通过clone()实现的，先创建一个原型类：public class Prototype implements Cloneable { public Object clone() throws CloneNotSupportedException { Proto
2020-08-03 15:24:17
156
原创 详解单例设计模式
什么是单例模式?单例模式是为确保一个类只有一个实例，并为整个系统提供一个全局访问点的一种模式方法。从概念中体现出了单例的一些特点：在任何情况下，单例类永远只有一个实例存在单例需要有能力为整个系统提供这一唯一实例在计算机系统中，线程池、缓存、日志对象、对话框、打印机、显卡的驱动程序对象常被设计成单例。这些应用都或多或少具有资源管理器的功能。每台计算机可以有若干个打印机，但只能有一个Printer Spooler，以避免两个打印作业同时输出到打印机中。每台计算机可以有若干通信端口，系统应当
2020-08-03 15:22:28
275
原创 详解工厂设计模式
设计模式分类先来说说设计模式的分类，主要分为以下大类：创建型模式：工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。结构型模式，共七种：适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。行为型模式，共十一种：策略模式、模板方法模式、观察者模式、迭代子模式、责任链模式、命令模式、备忘录模式、状态模式、访问者模式、中介者模式、解释器模式。并发型模式和线程池模式。1.普通工厂模式建立一个工厂类，对实现了同一接口的一些类进行实例的创建。举例如下：（我们举一个发送
2020-08-03 15:19:53
171
原创 Webpack入门到进阶
Webpack入门到进阶1. 概念webpack 是一个现代 JavaScript 应用程序的静态模块打包器(module bundler)。当 webpack 处理应用程序时，它会递归地构建一个依赖关系图(dependency graph)，其中包含应用程序需要的每个模块，然后将所有这些模块打包成一个或多个 bundle(包)。2. 核心概念entry:入口 ==> 指示 webpack 应该使用哪个模块开始进行打包output: 输出(出口) ==> 告诉 webpack 在哪里
2020-08-03 11:21:23
263
原创 Vue中组件通信手段
Vue 组件通信1、props`props实现父向子通信:` 向下传递数据，子组件中通过props接收使用数据`props实现子向父通信:` 给子组件传递一个函数，这个函数用于修改父组件中数据 `代码片段如下:` 1、组件关系如下: App Father Son 2、实现父向子通信代码: # 父组件中: <template> <div>
2020-08-01 23:18:18
151
原创 Promise从0到自定义
Promise从0到自定义1. Promise是什么?Promise是一个构造函数,用于表示一个异步操作的最终完成 (或失败), 及其结果值.2. Promise用来解决我们开发中什么问题?Promise用来解决我们日常开发中产生的回调嵌套(回调地狱)问题.3. Promise实例对象内部的三种状态* pending:初始状态,既不是成功，也不是失败状态* resolved/fulfilled: 成功状态* rejected:失败状态4. Promise语法研究1. Promise
2020-08-01 23:08:44
331
泛型中? super T和? extends T的区别
2015-12-17
Spring 面试题分析_尚硅谷_佟刚
2014-09-30
Hibernate面试题分析_尚硅谷_佟刚
2014-09-30
Struts2面试题分析_尚硅谷_佟刚_.pdf
2014-09-30
Java反射机制的缺点_尚硅谷_张晓飞
2014-09-15
115个Java面试题和答案——终极（下）
2014-09-12
115个Java面试题和答案——终极（上）
2014-09-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人