weixin_49741990的博客

Apache Hadoop 完全分布式集群搭建环境搭建准备软件和操作系统版本Hadoop框架是采用Java语言编写，需要java环境（jvm）JDK版本：JDK8版本Hadoop搭建方式单机模式：单节点模式，非集群，生产不会使用这种方式单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（生产环境建议使用这种方式）三台虚拟机（静态IP，关闭防火墙，修改主机名，配置免密登录，集群时间同步）可以自己去百

Hadoop简介Hadoop 是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多其他软件框架Hadoop生态圈技术栈Hadoop（HDFS + MapReduce + Yarn）Hive 数据仓库工具HBase 海量列式非关系型数据库Flume 数据采集工具Sqoop ETL工具Kafka 高吞吐消息中间件…Hadoop的特点Apache Hadoop版本

Elastic search之介绍和安装Elasticsearch是一个需要安装配置的软件。ELK技术栈说明Elastic有一条完整的产品线：Elasticsearch、Logstash、Kibana等，前面说的三个就是大家常说的ELK技术栈（开源实时日志分析平台）。Logstash 的作用就是一个数据收集器，将各种格式各种渠道的数据通过它收集解析之后格式化输出到Elasticsearch ，最后再由Kibana 提供的比较友好的 Web 界面进行汇总、分析、搜索。ELK 内部实际就是个管道结构

全文检索之Lucene什么是全文检索数据分类我们生活中的数据总体分为两种：结构化数据和非结构化数据。​ 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。​ 非结构化数据：指不定长或无固定格式的数据，如邮件，word 文档等磁盘上的文件结构化数据搜索常见的结构化数据也就是数据库中的数据。​ 在数据库中搜索很容易实现，通常都是使用 sql语句进行查询，而且能很快的得到查询结果。为什么数据库搜索很容易？​ 因为数据库中的数据存储是有规律的，有行有列而且数据格式、数据长度都是固

SpringCloud（九）Spring Cloud Config 分布式配置中心分布式配置中心应用场景往往，我们使用配置文件管理一些配置信息，比如application.properties单体应用架构，配置信息的管理、维护并不会显得特别麻烦，手动操作就可以，因为就一个工程；微服务架构，因为我们的分布式集群环境中可能有很多个微服务，我们不可能一个一个去修改配置然后重启生效，在一定场景下我们还需要在运行期间动态调整配置信息，比如：根据各个微服务的负载情况，动态调整数据源连接池大小，我们希望配置内容发

SpringCloud（八）网关组件之GateWay网关：微服务架构中的重要组成部分局域网中就有网关这个概念，局域网接收或者发送数据出去通过这个网关，比如用Vmware虚拟机软件搭建虚拟机集群的时候，往往我们需要选择IP段中的一个IP作为网关地址。老夫最近学习的GateWay–>Spring Cloud GateWay（它只是众多网关解决方案中的一种）GateWay简介Spring Cloud GateWay是Spring Cloud的一个全新项目，目标是取代Netflix Zuul，它基于

SpringCloud（七）远程调用组件之Feign在之前的案例中，服务消费者调用服务提供者的时候使用RestTemplate技术。 @GetMapping("/getProduct/{id}") public Products getProduct(@PathVariable Integer id){ //拼写URL地址 String url = "http://szx-service-product/product/selectProductById/"

SpringCloud（六）熔断器之Hystrix属于一种容错机制微服务中的雪崩效应当山坡积雪内部的内聚力抗拒不了它所受到的重力拉引时，便向下滑动，引起大量雪体崩塌，人们把这种自然现象称作雪崩。微服务中，一个请求可能需要多个微服务接口才能实现，会形成复杂的调用链路。服务雪崩效应：是一种因“服务提供者的不可用”（原因）导致“服务调用者不可用”（结果），并将不可用逐渐放大的现象。扇入：代表着该微服务被调用的次数，扇入大，说明该模块复用性好扇出：该微服务调用其他微服务的个数，扇出大，说明业

SpringCloud（五）负载均衡之Ribbon关于负载均衡负载均衡一般分为服务器端负载均衡和客户端负载均衡所谓服务器端负载均衡，比如Nginx、F5这些，请求到达服务器之后由这些负载均衡器根据一定的算法将请求路由到目标服务器处理。所谓客户端负载均衡，比如我们要说的Ribbon，服务消费者客户端会有一个服务器地址列表，调用方在请求前通过一定的负载均衡算法选择一个服务器进行访问，负载均衡算法的执行是在请求客户端进行。Ribbon是Netflix发布的负载均衡器。Eureka一般配合Ribbon进行

SpringCloud（四）注册中心之Eureka第一代 Spring Cloud 核心组件从形式上来说，Feign一个顶三，Feign = RestTemplate + Ribbon + Hystrix常用的服务注册中心：Eureka、Nacos、Zookeeper、Consul关于服务注册中心注意：服务注册中心本质上是为了解耦服务提供者和服务消费者。服务消费者 --> 服务提供者服务消费者 --> 服务注册中心 --> 服务提供者对于任何一个微服务，原则上都应存在或者

SpringCloud（三）了解了概念，现在来验证一下，玩个小案例案例说明按照普通方式模拟一个微服务之间的调用，后续将一步步使用Spring Cloud的组件对案例进行改造。需求：完整业务流程图：案例数据库环境准备CREATE TABLE products( id INT PRIMARY KEY AUTO_INCREMENT, NAME VARCHAR(50), #商品名称 price DOUBLE, flag VARCHAR(2), #上架状态 goods_desc VARCH

SpringCloud（二）啥玩意是SpringCloud呢Spring Cloud 是什么**[百度百科]**Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，都可以用 Spring Boot的开发风格做到一键启动和部署。Spring Cloud并没有重复制造轮子，它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来，通过Spring Boot风

SpringCloud（一）啥玩意是微服务互联网应用架构演进随着互联⽹的发展，⽤户群体逐渐扩大，⽹站的流量成倍增⻓，常规的单体架构已⽆法满⾜请求压⼒和业务的快速迭代，架构的变化势在必⾏。下⾯我们就以拉勾网的架构演进为例，从最开始的单体架构分析，⼀步步的到现在的微服务架构。淘宝：LAMP，Linux、Apache、MySQL、PHP单体应用架构在诞⽣之初，⽤户量、数据量规模都⽐较⼩，项目所有的功能模块都放在一个工程中编码、编译、打包并且部署在一个Tomcat容器中的架构模式就是单体应用架构，这样的架

SpringBoot（六）实操玩一下新增德鲁伊连接池<dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.3</version></dependency>#配置端口号server.port=8090#MySQL数据库连接配置spring.dataso

SpringBoot（五）视图技术（Thymeleaf）前端模板引擎技术的出现，使前端开发人员无需关注后端业务的具体实现，只关注自己页面的呈现效果即可，并且解决了前端代码错综复杂的问题、实现了前后端分离开发。Spring Boot框架对很多常用的模板引擎技术（如：FreeMarker、Thymeleaf、Mustache等）提供了整合支持Spring Boot不太支持常用的JSP模板，并且没有提供对应的整合配置，这是因为使用嵌入式Servlet容器的Spring Boot应用程序对于JSP模板存在一些限

SpringBoot（四）SpringBoot整合Redis<!-- redis依赖包 --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId></dependency>#配置连接Redis#主机地址spring.redis

SpringBoot（三）SpringBoot整合MyBatisMyBatis 是一款优秀的持久层框架，Spring Boot官方虽然没有对MyBatis进行整合，但是MyBatis团队自行适配了对应的启动器，进一步简化了使用MyBatis进行数据的操作因为Spring Boot框架开发的便利性，所以实现Spring Boot与数据访问层框架（例如MyBatis）的整合非常简单，主要是引入对应的依赖启动器，并进行数据库相关参数设置即可创建与数据库表相对应的实体类public class Comme

SpringBoot（二）依赖管理和自动配置传统的Spring框架实现一个Web服务，需要导入各种依赖JAR包，然后编写对应的XML配置文件等，相较而言，Spring Boot显得更加方便、快捷和高效。那么，Spring Boot究竟如何做到这些的呢？接下来分别针对Spring Boot框架的依赖管理、自动配置通过源码进行深入分析依赖管理问题：（1）为什么导入dependency时不需要指定版本？在Spring Boot入门程序中，项目pom.xml文件有两个核心依赖，分别是spring-boot

SpringBoot（一）基本应用约定优于配置Build Anything with Spring Boot：Spring Boot is the starting point for building all Spring-based applications. Spring Boot is designed to get you up and running as quickly as possible, with minimal upfront configuration of Spring.

RabbitMQ（十）RabbitMQ集群rabbitmq有3种模式，但集群模式是2种。详细如下：单一模式：即单机情况不做集群，就单独运行一个rabbitmq而已。之前我们一直在用普通模式：默认模式，以两个节点（A、B）为例来进行说明当消息进入A节点的Queue后，consumer从B节点消费时，RabbitMQ会在A和B之间创建临时通道进行消息传输，把A中的消息实体取出并经过通过交给B发送给consumer当A故障后，B就无法取到A节点中未消费的消息实体如果做了消息持久化，那么得等