Linux
1、什么是Linu
Linux,全称GNU/Linux,是一种免费使用和自由传播的类UNIX操作系统,其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布,它主要受到Minix和Unix思想的启发,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。Linux有上百种不同的发行版,如基于社区开发的debian、archlinux,和基于商业开发的Red Hat Enterprise Linux、SUSE、Oracle Linux等。
2、Linux应用在哪里
Linux大多情况应用在服务器,这也是Java方向程序员为什么必须要学习Linux的一个原因。
在少数情况也有在Linux上开发软件,或者应用到小型机、嵌入式、树莓派等设备上。
3、为什么要用Linux
1.跨平台的硬件支持
2.丰富的软件支持
3.支持多用户多任务
4.更安全更可靠
5.良好的稳定性
6.免费
nginx
1、简介
Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器 ,同时也提供了IMAP/POP3/SMTP服务。因它的稳定性、丰富的功能集、简单的配置文件和低系统资源的消耗而闻名。
2、反向代理
反向代理服务器位于用户与目标服务器之间。对于用户而言,反向代理服务器就相当于目标服务器
3、负载均衡
分摊到多个操作单元上执行,例如Web服务器,FTP服务器,企业关键应用服务器等,从而共同完成任务
docker
1、什么是docker
Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Linux或Windows(对于windows不是太友好)操作系统的机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口。
2、什么是沙盒
沙盒机制,又称为沙箱(sandbox),是一种计算机安全领域中的技术,用于为运行中的程序提供隔离的环境。
3、docker容器和虚拟机的区别
相同点:docker容器和虚拟机都采用了虚拟的技术。
不同点:docker相当于虚拟机而言,少了虚拟机操作系统层,少了一层就少了很多的资源浪费,所以docker的效率更高。
4、docker三大部分
1、用户执行命令,客户端接收到命令回将命令发给docker主机,有主机去执行,同时会将docker的一些信息展示给用户
2、执行docker命令的,接收到docker客户端的命令,执行这个命令,这个过程是隐藏的,不会暴露
Jenkins
1、什么是Jenkins
Jenkins是一个开源软件项目,是基于Java开发的一种持续集成工具,用于监控持续重复的工作,旨在提供一个开放易用的软件平台,使软件项目可以进行持续集成。
2、Jenkins的作用
持续的软件版本发布/测试项目
监控外部调用执行的工作。
3、什么是CI/CD
CI/CD 是持续集成(Continuous Integration,CI)、持续交付(Continuous Delivery,CD)与持续部署(Continuous Deployment,CD)的简称,注意CD对应了两个名词。
CI/CD是实现敏捷开发和Devops理念的一种方法,具体而言,CI/CD 可让持续自动化和持续监控贯穿于应用的整个生命周期(从集成和测试,到交付和部署)。这些关联的事务通常被统称为CI/CD 管道(Pipeline),由开发(RD)、测试(QA)、运维(OP)团队以敏捷方式协同支持。
持续集成:重点是将开发者的工作集中到代码仓库,一般情况每天都会有更新,持续集成可以更快的进行集成,更快的得到响应。
持续部署:是一种更高程度的自动化,可以根据需求进行持续的自动的部署项目。
4、Jenkins
适用于大型项目,且更新比较频繁的。微服务架构的项目多数都会用Jenkins,单体项目相对少很多。
5、Jenkins特性
易于安装。有多种安装方式,可以在线安装,也可以下载安装包安装,也可以运行war包。
配置简单。Jenkins提供web端的配置方式,安装成功后,所有的配置都可以在web端完成。
集成了Email等工具,可以在集成或部署时通知工作人员。
有丰富的插件库。处理已有的插件,也可以自己开发插件。
Jenkins支持分布式。
nexus
简介
【maven私服】,用于为公司提供私有服务的软件。
它是Sonatype公司的一个产品,叫Nexus,它是Maven的私服。事实上有三种专门的Maven仓库管理软件可以帮助我们创建私服,有Apache的Archiva;JFrog的Artifactory和Sonatype的Nexus。其中Archiva是开源的,Artifactory和Nexus的核心也是开源的。这里我们重点介绍Sonatype公司的Nexus。
Spring Security
简介
Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架。它提供了一组可以在Spring应用上下文中配置的Bean,充分利用了Spring IoC,DI(控制反转Inversion of Control ,DI:Dependency Injection 依赖注入)和AOP(面向切面编程)功能,为应用系统提供声明式的安全访问控制功能,减少了为企业系统安全控制编写大量重复代码的工作。
它是一个认证【身份认证】及授权【权限控制】的框架。shiro是它的对标框架,springsecurity已经开发很多年了,由于shiro的优势,它发展的不是很好,直到springboot出现,security的配置变的非常简单,现在微服务的项目都会优先选择security框架。security实现原理是通过Filter实现的。
权限管理:就是你这个用户都能访问什么东西。
身份认证:简单来说就是登录,退出这两个功能。
RabbitMQ
1、什么是MQ
MQ就是消息队列,“消息队列”是在消息的传输过程中保存消息的容器。
2、RabbitMQ
RabbitMQ是实现了高级消息队列协议(AMQP)的开源消息代理软件(亦称面向消息的中间件)。RabbitMQ服务器是用Erlang语言编写的,而集群和故障转移是构建在开放电信平台框架上的。所有主要的编程语言均有与代理接口通讯的客户端库。
3、为什么要用MQ
解耦
流量削峰
消息发布和管理
Redis
1、什么是Redis
Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
可以理解成一个大容量的map。
2、Redis的作用
可以做为数据库存储数据,也可以用来做缓存、计数器、分布式锁等。实际工作中很少用它做数据库。
3、Redis常用的五种基本类型
string:字符串数据类型
hash:类似于对象,map的形式
list:表示一种线性数据结构,队列或栈
set:无序不可重复集合
zset:有序不可重复集合
另外还有三种数据类型,都不是很常用。Geospatial、Bitmap、Hyperloglog
redis可以操作位(bit),但是工作中几乎不用。
MongoDB
1、非关系型数据库
NoSQL,泛指非关系型的数据库。随着互联网web2.0网站的兴起,传统的关系数据库在处理web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,出现了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,特别是大数据应用难题。
2、非关系型数据库分类
键值(Key-Value)存储数据库
类似于HashMap的方式,例如redis
列存储数据库
以列为概念的,用于处理大数据量的数据,例如HBase
文档型数据库
是应用比较广泛的,以文档形式处理数据的,文档不是硬盘上直接对应的文件,是个概念,例如MongoDB
图形(Graph)数据库
Neo4j是一个高性能的,NOSQL图形数据库,它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎,但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎,该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。
3、MongoDB?bson格式什么样?
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似json的bson格式,因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,而且还支持对数据建立索引。
JSON的BSON格式是一种二进制表示的数据交换格式,它是“Binary JSON”的缩写。
2、MongoDB的优势
-
简单性,应用起来比较容易,易上手
-
扩展性,指的是mango本身的拓展,比如说可以做分片模式集群等等
-
高性能,在Wiretiger存储引擎的加持下,数据的读写可以做到更大的吞吐量
-
高可用,自身出现故障的情况很少,也可以通过集群的方式再提供高可用性,还支持故障转移
-
存文件,mongo天然支持文件存储,以桶的形式,用的对象是GridFS,文件会被切割成多个16M大小存储
3、MongoDB应用场景
它的应用场景非常广泛,存储数据、读写网站数据、文件存储、日志存储、缓存等。
从数据角度说,mongo关注是未来数据量。
从需求角度说,mongo关注是未来的拓展和维护。
4、术语
mongo | mysql |
---|---|
database 数据库 | database 数据库 |
collection 集合 | table 表 |
field 字段 | column 列 |
document 文件 | row 行 |
primary key 主键 | primary key 主键 |
index 索引 | index 索引 |
multi-document transactions 事务 | transactions 事务 |
mongo从5版本对事务的支持更好,以后工作用的一定是5版本及以上的。
我们学习用4版本,是因为很多电脑安装不了5版本,受硬件影响。4版本和5版本在操作上没有什么大区别,学习不影响。
Nacos
1、什么是Spring Cloud
Spring Cloud是一系列框架的集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等,都可以用Spring Boot的开发风格做到一键启动和部署。Spring Cloud并没有重复制造轮子,它只是将各家公司开发的比较成熟、经得起实际考验的服务框架组合起来,通过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理,最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。
2、微服务和微服务架构
微服务就是微小的服务,通过微服务思想,将原有的大而全的项目拆分成多个小而巧的项目,每个小的项目就是一个微服务,若干个微服务组成一个完整项目。微服务架构就是利用这种思想搭建的项目架构方式。
微服务架构可以提供高并发、高吞吐、高可用的特性。
3、什么是Nacos
Redirecting to: https://nacos.io/ 参考官方文档,不过多赘述。
nacos的两个核心功能:注册中心(发现中心)、配置中心(配置管理)
阿里旗下产品。Nacos是Spring Cloud Alibaba的开源组件之一,它不仅可以像Consul、Eureka那样作为注册中心,还可以像Spring Config那样作为远程的配置中心,并且,它还有很多自己的特性
SpringSession
1、简介
是SpringCloud下管理session的框架,在微服务架构中,由于应用了分布式的思想,session无法做到内存中互通,需要一个框架来实现各个微服务中session数据共享,SpringSession解决了这个问题。
在SpringSession框架中,可以无感的实现和操作session共享。
2、实现Session共享的三种方式
1、修改Tomcat配置文件:可以通过修改配置文件实现session共享,现在已经不用这种方式了,有很多限制。
2、Nginx负载均衡策略
通过ip_hash的方式,让同一个ip的请求到相同的服务中,session自然没有失效。这种方式也不推荐,无法做到效率及硬件利用率最高的负载均衡。
upstream server{ ip_hash; server 192.168.1.101:28080 max_fails=1 fail_timeout=60s weight=1; server 192.168.1.101:28090 max_fails=1 fail_timeout=60s weight=2; } server { listen 80; server_name 192.168.1.115; location / { proxy_pass server } }
3、redis统一存储
SpringBoot整合SpringSession,通过nacos进行配置管理,通过redis存储方式实现session共享
SpringGateway
1、简介
核心功能有三个:
路由:用于设置转发地址的:真实的地址
断言:用来判断真实应该请求什么地址
过滤器:可以过滤地址和处理参数
2、什么是网关:跨服务做转发
网关是后台服务的统一入口,类似于平时网络里提到的网关。
3、为什么用网关【为了转发】
在微服务架构开发中,网关是必要有的服务,它可以统一入口,解决跨域,负载均衡,各微服务通信等微服务整体管理和通信的。
场景:如果没有网关,前台要查用户信息,先往user的微服务下发送请求。然后又要查学生的信息,再往student的微服务下发送请求。这样的话,我要知道所有的微服务,他们的ip是什么?他们的端口是什么?才能把请求发送到他们的里面。那对于前端来讲的话,他要管理的微服务就太多了。而且还有一个问题,前端这么做,它是没有负载均衡的。它不知道我究竟应该发给谁?比如说user这个服务现在搭建了集群有三个,那请求过来了,我究竟是往集群里的哪一个发送呢?对于前端来说也是不知道的。
后台为了解决这个问题,就是你别搞这么复杂了,发送请求的时候都往一个地址发,但是url不一样。至于跳到哪个微服务,我后台来解决。Gateway就是专门来处理这个事的。在网关里面 集成了负载均衡 咱们就不用考虑这集群起来的微服务该给哪一个发了。
对于前端来讲,它发的不是网关的请求地址,而是nginx 的请求地址。发送到nginx地址后,再通过反向代理,代理到网关上。所以对于前端来说,只需要知道nginx就可以了,网关是不暴露给前端的。
一般来说都会为网关建立一个单独的微服务。
JSR303
什么是JSR303
JSR是Java Specification Requests的缩写,意思是Java 规范提案。是指向JCP(Java Community Process)提出新增一个标准化技术规范的正式请求。任何人都可以提交JSR,以向Java平台增添新的API和服务。JSR已成为Java界的一个重要标准。
JSR303是提案中的一个,用来做JavaBean校验的。
JSR是一个组织,用来收集整理java规范提案。任何人都可以提交提案,组织觉得有必要就会添加到新版本的jdk里。
OpenFeign
1、Feign是什么??http请求
Feign是集成了负载均衡、熔断机制、Http请求管理等功能的框架,作用是做微服务通信。Feign目前已经停止维护了,被Spring的OpenFeign接替实现后续功能。
负载均衡:服务器承担的压力就是负载,压力越大负载越大;均衡就是降低服务器承担的压力。
熔断机制:微服务之间通信的时候,A微服务给B微服务发送请求来获得B微服务里的数据。如果B微服务处于宕机状态,这样当A给B发请 求的时候,A会一直处于等待状态,等待B给出响应。这样对客户来说就不友好了。 熔断机制就是A给B发请求,过了一会没有 响应,于是A就自动切断了这一次请求,马上给客户一个响应。【熔断后面会详细学习,今天不做过多解释。】
http请求管理:就是A 的Controller 给 B 的Controller 发送了一个Http请求。
2、OpenFeign是什么
OpenFeign是SpringCloud下的一个框架,用于做微服务通信的,采用RESTFull风格做服务直接通信。实现方式也是通过发送http请求进行通信的,但是OpenFeign是在Spring环境下实现的,天然支持Spring的思想和注解,让开发变得更简单。
3、Feign和openFeign有什么区别
Feign对HTTP进行了封装,实现的微服务通信,OpenFeign是在Spring环境下对Feign进行的二次升级,让OpenFeign框架更简单,更贴近Spring,开发者在使用时减少了很多障碍。
dubbo
1、简介
dubbo框架是做微服务通信的,是由阿里巴巴开发,后捐赠给阿帕奇基金会。
2、与OpenFeign的区别
dubbo是采用RPC协议实现微服务通信,OpenFeign是采用Http请求的方式实现的。
OpenFeign 最简单的,就是Spring公司开发的,整合SpringBoot的时候,代码简洁。
3、应用
要创建三个工程,api工程,消费者工程(consumer)和提供者工程(provider),api工程是用于另外两个工程引用的。
消费者工程和提供者工程 是要有共同的引用的,比如说:在传递请求的时候,要用user对象,那这个user对象就可以定义在api工程里,这样两个工程就都可以用了。还有Service层接口,也是要放到api工程里的。
hystrix
1、什么是hystrix?
是一个做熔断的框架,当程序被高并发访问时可能会造成微服务的宕机,hystrix可以熔断微服务之间通信。防止后台服务发生雪崩。
2、Hystrix作用
熔断
查看微服务请求状态
3、Hystrix使用场景
是在微服务架构下才有意义,做各个微服务通信熔断的。
并发和负载量如果都不大,可用可不用,一旦负载过大,一定要用熔断。
看业务需求,如果对熔断的需求比较简单,选用Hystrix,如果需求复杂,可用选用sentinel(sentinel功能比较丰富,比如限流,比如可以设置服务器限流,一秒钟只处理多少个请求,超过这个请求熟练的 ,就自动熔断了)。
Sentinel
概念
随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel 是面向分布式、多语言异构化服务架构的流量治理组件,主要以流量为切入点,从流量路由、流量控制、流量整形、熔断降级、系统自适应过载保护、热点流量防护等多个维度来帮助开发者保障微服务的稳定性。
流量路由,流量控制,流量整形:流量从另外一个角度,也叫请求。
JMeter
介绍
Apache JMeter 是 Apache 组织基于 Java 开发的压力测试工具,用于对软件做压力测试。