- 博客(38)
- 收藏
- 关注
RSS订阅原创 IDEA配置RunDashboard
1.右键点击项目,然后点击show in Explorer 弹出项目所在的文件夹2.打开项目 进入到.idea目录 打开workspace.xml文件3.找到component name="RunDashboard"并在下面添加如下内容 并保存<option name="configurationTypes"> <set> <option val...
2020-03-11 12:24:13
236
原创 SpringCloud最新组件介绍
服务注册中心:Eureka:2018年Eureka2.x闭源,不再推荐使用Zookeeper:3年前的系统部分公司用zookeeper+dubbo做微服务,当然zookeeper也可以作为springcloud的注册中心,可以使用consul:go语言编写的优秀的注册中心组件,可以使用Nacos:阿里巴巴开发的注册中心,完美替换Eureka,能承受百万级并发量的注册,强烈推荐使用负载均...
2020-03-08 19:25:35
2231
原创 安装logstash插件报错Unable to download data from https://rubygems.org
安装logstash插件报错Unable to download data from https://rubygems.org - writer side was already closed. (https://api.rubygems.org/latest_specs.4.8.gz)原因是老外已经停止了维护该项目解决方案:1.首先确保linux上有gem 没有则安装 yum instal...
2020-02-12 15:53:17
1850
原创 Error creating bean with name 'eurekaAutoServiceRegistration'
Error creating bean with name ‘eurekaAutoServiceRegistration’org.springframework.beans.factory.BeanCreationNotAllowedException: Error creating bean with name ‘eurekaAutoServiceRegistration’: Singleto...
2020-02-12 09:18:25
311
原创 SpringBoot整合Mybatis（最全版）
文章目录1.搭建项目环境1.1新建项目1.2 引入依赖1.3 添加yml配置文件1.4 创建实体类实现业务流程1.5 添加启动类1.6 执行sql脚本2.整合Mybatis的注解版(mysql数据库)方式一：通过注解方式+下划线转驼峰配置接收返回结果方式二：通过纯注解方式3.整合Mybatis的xml版(mysql数据库)方式一：返回结果使用resultType接收+下划线转驼峰配置接收返回结果方...
2020-01-13 17:08:35
404
原创 Nginx实现四层协议的负载均衡
1.nginx+keepalived简单双机主从热备lvs+keepalived+nginx实现高性能负载均衡集群架构流程图（ 基于Nginx1.9以上版本）双机主从热备概述 可以两台机子互为热备，平时各自负责各自的服务。在做上线更新的时候，关闭一台服务器的tomcat后，nginx自动把流量切换...
2020-01-07 15:23:26
762
原创 Http动态负载均衡
Http动态负载均衡什么是动态负载均衡传统的负载均衡，如果Upstream参数发生变化，每次都需要重新加载nginx.conf文件,因此扩展性不是很高，所以我们可以采用动态负载均衡，实现Upstream可配置化、动态化，无需人工重新加载nginx.conf。这类似分布式的配置中心动态负载均衡实现方案Consul+Consul-template每次发现配置更改需要raload ngi...
2020-01-06 13:28:57
666
原创 Consul安装
1.常用服务器注册与发现框架 常见服务发现框架 Consul、Eureka、 ZooKeeper以及Etcd ZooKeeper是这种类型的项目中历史最悠久的之一，它起源于Hadoop。它非常成熟、可靠，被许多大公司（YouTube、eBay、雅虎等）使用。etcd是一个采用HTTP协议的健/值对存...
2020-01-06 10:57:53
539
原创 Nginx配置故障转移
当上游服务器(真实访问服务器),一旦出现故障或者是没有及时相应的话，应该直接轮训到下一台服务器，保证服务器的高可用。Nginx配置故障转移代码如下:worker_processes 1;events { worker_connections 1024;}http { i...
2019-12-31 14:29:00
896
2
原创 Nginx负载均衡
文章目录1.什么是负载均衡2.负载均衡带来的问题3.负载均衡算法3.1轮询（默认）3.2weight（轮询权值）3.3ip_hash(ip绑定)3.4fair（第三方）3.5url_hash(第三方)4.配置负载均衡(轮询)5.配置负载均衡(权重)6.配置负载均衡(IP绑定)1.什么是负载均衡 负载均...
2019-12-31 14:03:50
144
原创 Nginx配置反向代理
1.反向代理的作用 反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。2.反向代理的主要应用 &n...
2019-12-31 10:48:51
214
原创 nginx安装
1.安装gcc gcc-c++(如新环境,未安装请先安装)[root@lzh ~]# yum install -y gcc gcc-c++2.安装wget[root@lzh ~]# yum -y install wget3.安装PCRE库[root@lzh ~]# cd /usr/local/[root@lzh local]# wget http://jaist.dl.sourc...
2019-12-28 11:25:31
224
原创 乐观锁和悲观锁
1.乐观锁和悲观锁简介1.1 乐观锁 总是认为不会产生并发问题，每次去取数据的时候总认为不会有其他线程对数据进行修改，因此不会上锁,但是在更新时会判断其他线程在这之前有没有对数据进行修改，一般会使用版本号机制或CAS操作实现。1.2 悲观锁  ...
2019-12-26 14:11:26
160
原创 重入锁
锁作为并发共享数据，保证一致性的工具，在JAVA平台有多种实现(如 synchronized（重量级） 和 ReentrantLock(轻量级)等等 ) 。这些已经写好提供的锁为我们开发提供了便利。 重入锁，...
2019-12-26 11:24:00
114
原创 Java线程池
文章目录1.使用线程池的好处2.线程池的作用3.Executor 框架3.1 简介3.2 Executor 框架结构(主要由三大部分组成)3.2.1 任务(Runnable /Callable)3.2.2 任务的执行(Executor)3.2.3异步计算的结果(Future)3.3 Executor 框架的使用示意图4.ThreadPoolExecutor类简单介绍(重要)5.线程池的创建方式5....
2019-12-20 16:36:19
277
原创 Volatile关键字
1.什么是Volatile ThreadLocal可见性也就是说一旦某个线程修改了该被volatile修饰的变量，它会保证修改的值会立即被更新到主存，当有其他线程需要读取时，可以立即获取修改之后的值。 Thr...
2019-12-19 15:20:05
138
原创 Threadlocal
文章目录1.什么是Threadlocal2.ThreadLocal的接口方法3.ThreadLocal示例4.ThreadLocal 内存泄露问题5.ThreadLocal原理1.什么是Threadlocal ThreadLocal提高一个线程的局部变量，访问某个线程拥有自己局部变量。 &...
2019-12-19 13:38:05
178
原创 多线程死锁
1.什么是死锁?死锁: 是指两个或两个以上的进程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。2.死锁产生的原因1.因为系统资源不足。2.进程运行推进的顺序不合适。3.资源分配不当。产生死锁的条件有四个：1.互斥条件：所谓互斥就是进程在某一时间内独占资源。2.请求与保持条件：一个进程因请求资源而阻塞时，对已获得的资源保持不放。3.不剥夺条...
2019-12-18 16:03:31
207
原创 多线程线程安全问题
1.为什么有线程安全问题？ 当多个线程同时共享，同一个全局变量或静态变量，做写的操作时，可能会发生数据冲突问题，也就是线程安全问题。但是做读操作是不会发生数据冲突问题。 经典案例——抢火车票:需求现在有100...
2019-12-13 15:44:00
330
原创 多线程快速入门
1.线程与进程1.1何为进程 进程是程序的一次执行过程，是系统运行程序的基本单位，因此进程是动态的。系统运行一个程序即是一个进程从创建，运行到消亡的过程。如下图所示，在 windows 中通过查看任务管理器的方式，我们就可以清楚看到 window 当前运行的进程（.exe 文件的运行）。1.2何...
2019-12-13 13:26:38
131
原创 SpringBoot入门
1.SpringBoot介绍1.1 SpringBoot简介 SpringBoot是一个快速开发的框架,能够快速的整合第三方框架，简化XML配置，全部采用注解形式，内置Tomcat容器,帮助开发者能够实现快速开发，SpringBoot的Web组件 默认集成的是SpringMVC框架。Spring B...
2019-12-12 23:30:45
189
原创 flume使用lzop报错：native-lzo library not available
通常问题是在java.library.path中没有找到hadoop的native编译包导致，解决方案是在linux的环境变量中增加一项配置[lzh@hadoop102 ~]$ sudo vi /etc/profile给java.library.path增加hadoop的native路径，以便程序可以正常加载export LD_LIBRARY_PATH={你的hadoop路径}/lib/n...
2019-11-30 22:36:00
1242
6
原创 Error running 'api': Unable to open debugger port (127.0.0.1:58874): java.net.SocketException
0.错误如下1.打开IDEA启动配置窗口，获取JMX port 10992.打开cmd命令行窗口,输入netstat -aon|findstr 1099（1099替换成上图中自己的端口号）获取PID–550963.杀掉pidtaskkill /pid 55096 -t -f...
2019-11-18 15:31:16
12774
原创 HBase安装
1.准备Zookeeper集群环境首先保证Zookeeper集群的正常部署，并启动之：Zookeeper环境搭建[lzh@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start[lzh@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start[lzh@hadoop104 zookeeper-3.4....
2019-11-15 17:07:43
129
原创 Kafka命令行操作
1）查看当前服务器中的所有topic[lzh@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list2）创建topic[lzh@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-...
2019-11-15 10:29:19
152
原创 kafka集群安装
集群规划|hadoop102hadoop103hadoop104zookeeperzookeeperzookeeperkafkakafkakafka1.解压安装包[lzh@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module/2.修改解压后的文件名称[lzh@ha...
2019-11-15 10:05:44
221
原创 Zookeeper内部原理详解
1.节点类型持久（Persistent）：客户端和服务器端断开连接后，创建的节点不删除短暂（Ephemeral）：客户端和服务器端断开连接后，创建的节点自己删除（1）持久化目录节点客户端与Zookeeper断开连接后，该节点依旧存在（2）持久化顺序编号目录节点客户端与Zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号（3）临时目录节点客户...
2019-11-14 13:55:16
144
原创 zookeeper集群安装部署
1．集群规划在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。2．解压安装解压Zookeeper安装包到/opt/module/目录下[lzh@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/3．配置zoo.cfg文件（1）重命名/opt/modul...
2019-11-14 11:37:24
169
原创 NameNode和SecondaryNameNode详解
思考：NameNode中的元数据是存储在哪里的？是磁盘中还是内存中？ 首先，我们假设储存在NameNode节点的磁盘中，因为经常要对NameNode进行访问获取DataNode的信息以相应客户请求，存放在磁盘中会导致效率过低。 &n...
2019-10-31 22:41:39
434
原创 HDFS读写数据流程
1.HDFS写数据流程解析1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。2）NameNode返回是否可以上传。3）客户端请求第一个 Block上传到哪几个DataNode服务器上。4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。5）客户端通过FSDat...
2019-10-31 19:36:18
297
原创 HDFS概述
1.HDFS优缺点优点：1）高容错性2）适合处理大数据（1）数据规模：能够处理数据量规模达到GB、TB、甚至PB级别的数据。（2）文件规模：能够处理百万规模以上的文件数量，数量相当之大。3）可构建在廉价的机器上，通过多副本机制提高可靠性。缺点：1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。2）无法高效的对大量小文件进行存储：（1）存储大量小文件的话，它会占用Na...
2019-10-29 22:28:11
439
原创 Hadoop完全分布式运行
1.准备3台客户机（关闭防火墙、静态ip、主机名称）Hadoop运行环境搭建+Linux上安装Hadoophadoop102hadoop103hadoop1042.配置免密登录（1）切换至root用户下 输入命令ssh-keygen -t rsa[root@hadoop102 ~]$ ssh-keygen -t rsa然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id...
2019-10-29 21:21:36
206
转载 集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。1. 时间服务器配置（必须root用户操作）（1）检查ntp是否安装(集群上所有机器都需要安装)输入rpm -qa|grep ntp如下图所示表示已经安装了ntp如果未安装 执行命令 yum -y install ntp 进行安装[root@hadoop102 ~]# rp...
2019-10-29 21:05:45
332
原创 Hadoop伪分布式运行（单机版）
1.安装hadoophadoop安装步骤2.配置集群（1）修改配置文件：hadoop-env.shLinux系统中获取JDK的安装路径：[lzh@hadoop101 hadoop]$ echo $JAVA_HOME/opt/module/jdk1.8.0_144进入hadoop-env.sh文件：[lzh@hadoop101 hadoop]$ vi /opt/module/hado...
2019-10-26 14:35:04
306
原创 Linux上安装Hadoop
0. 先在linux上安装JDK（1）查询是否安装Java软件：[lzh@hadoop101 opt]$ rpm -qa | grep java（2）如果安装的版本低于1.7，卸载该JDK：[lzh@hadoop101 opt]$ sudo rpm -e 软件包（3）查看JDK安装路径：[lzh@hadoop101 ~]$ which java（4）下载、上传、安装jdkjdk1....
2019-10-24 00:24:15
281
原创 Hadoop运行环境搭建
1.关闭防火墙//防火墙服务关闭service iptables stop//关闭开机自启防火墙chkconfig iptables off2.创建一个普通用户lzhuseradd lzh //用户名是lzhpasswd lzh //更改lzh用户的密码 回车执行后输入两次相同的密码即可3.在/opt目录下创建software module文件夹3.1创建名字为software、...
2019-10-21 00:22:48
206
原创 Hadoop入门
1.Hadoop是什么（1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构（2）主要解决问题：海量数据的存储和海量数据的分析计算（3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈...
2019-10-20 22:50:28
172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人