- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 ElasticSearch简单使用
ElasticSearch（windows）安装1.下载windows版本下载解压2. 双击bin目录下的elasticsearch.bat启动成功3.访问http://127.0.0.1:9200/
681
原创 ZooKeeper 概述
ZooKeeper：分布式应用程序的分布式协调服务ZooKeeper 是分布式应用程序的分布式开源协调服务。它公开了一组简单的原语，分布式应用程序可以基于这些原语实现更高级别的同步、配置维护、组和命名服务。它被设计为易于编程，并使用一种数据模型，该模型以熟悉的文件系统目录树结构为样式。它在 Java 中运行，并具有 Java 和 C 的绑定。众所周知，协调服务很难做好。它们特别容易出现竞争条件和死锁等错误。ZooKeeper 背后的动机是减轻分布式应用程序从头开始实现协调服务的责任。设计目标ZooK
2022-02-15 15:33:17
939
原创 消息中间件之ActiveMQ
什么是JMS MQ全称：Java MessageService 中文：Java 消息服务。JMS 是 Java 的一套 API 标准，最初的目的是为了使应用程序能够访问现有的 MOM 系 统（MOM 是 MessageOriented Middleware 的英文缩写，指的是利用高效可靠的消息传递机 制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。） ；后来被许多现有 的 MOM 供应商采用，并实现为 MOM 系统。【常见 MOM 系统包括 Apache 的 ActiveMQ、 阿里巴
2022-02-10 14:05:11
890
2
原创 Java序列化
1.序列化简介1.1 定义序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化，它将流转换为对象。这两个过程结合起来，可以轻松地存储和传输数据1.2 序列化的目的通过序列化以字节流的形式使对象在网络中进行传递和接收永久性保存对象，保存对象的字节序列到本地文件或者数据库中通过序列化在进程间传递对象深拷贝对象跨语言传递数据1.3 序列化常见的方式是否跨语言：生成的中间文件二进制流不同：2.常见的序列化方式特点2.1 JDK参考脑图2.2 JSONJacks
2022-02-10 10:11:51
260
原创 Docker常用命令
Docker常用命令Docker配置阿里云镜像加速sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://7fsjirqs.mirror.aliyuncs.com"]}EOFsudo systemctl daemon-reloadsudo systemctl restart docker验证Docker的镜像加速是否生效[root@
2022-02-07 11:18:54
4329
原创 第九节：SpringCloud 分布式链路跟踪Sleuth
spring cloud sleuth微服务情况下的系统存在的问题1)我们通过上述讲了很多spring cloud的服务组件，可以使用以前的组件搭建一个很健壮的系统微服务架构是一个分布式架构，它按业务划分服务单元，一个分布式系统往往有很多个服务单元。由于服务单元数量众多，业务的复杂性，如果出现了错误和异常，很难去定位。主要体现在，一个请求可能需要调用很多个服务，而内部服务的调用复杂性，决定了问题难以定位。所以微服务架构中，必须实现分布式链路追踪，去跟进一个请求到底有哪些服务参与，参与的顺序又是怎样的，
2021-03-17 18:24:14
233
1
原创 第八节：SpringCloud 分布式配置中心Config
spring cloud config什么是springcloud configSpring Cloud Config为分布式系统外部化配置提供了服务器端和客户端的支持，它包括Config Server和Config Client两部分。由于Config Server和Config Client都实现了对Spring Environment和PropertySource抽象的映射，因此，Spring Cloud Config非常适合Spring应用程序，当然也可与任何其他语言编写的应用程序配合使用Co
2021-03-17 17:45:05
338
原创 第七节：SpringCloud 网关实现框架zuul
Zuul什么是网关 zuulZuul是Netflix开源的微服务网关，它可以和Eureka、Ribbon、Hystrix等组件配合使用。Zuul的核心是一系列的过滤器主要功能1、身份认证与安全：识别每个资源的验证要求，并拒绝那些与要求不符的请求2、审查与监控：在边缘位置追踪有意义的数据和统计结果，从而为我们带来精确的生产视图；3、动态路由：动态地将请求路由到不同的后端集群；4、压力测试：逐渐增加指向集群的流量，以了解性能；5、为每一种负载类型分配对应容量，并弃用超出限定值的请求；为什么需要
2021-03-17 16:49:48
315
原创 第六节：SpringCloud Hystrix
Hystrix分布式系统遇到的问题一：在分布式系统中，存在服务A 调用服务B ，而服务B又去调用服务C，服务D,这样的调用过程就是服务扇出。而在某条扇出的服务调用链路中有一个服务，由于响应时间过程或者抛出异常，导致服务调用者被占用越来越多资源，从而导致整个系统奔溃，整个过程就叫服务雪崩或者级联故障## 解决问题应用容错三步1、超时机制为我们的RestTemplate设置连接以及读取超时时间@Beanpublic RestTemplate restTemplate() { //设置r
2021-03-17 14:48:33
130
原创 第五节：SpringCloud Ribbon与Feign
Ribbon1:什么是Ribbon①:什么是客户端的负载均衡进程内的LB(Load Balancer),他是一个类库集成到消费端，通过消费端进行获取提供者的地址生活中:类似与你去火车站排队进站（有三条通道），只要是正常人，都会排队到人少的队伍中去.程序中: 我们消费端 能获取到服务提供者地址列表，然后根据某种策略去获取一个地址进行调用.②:什么是服务端的负载均衡1.2) 什么是服务端的负载均衡?生活中:类似与你去火车站排队进站的时候，有一个火车站的引导员告诉你说三号通道人少，你去三号通道排
2021-03-16 15:44:17
233
2
原创 第四节：SpringCloud 服务注册与发现Eureka与CAP理论
一、没有使用注册中心搭建的分布式应用缺点:1)我们的在调用的时候，请求的Ip地址和端口是硬编码的.若此时，服务提供方(order)服务部署的机器换了端口或者是更换了部署机器的Ip,那么我们需要修改代码重新发布部署.2) 假设我们的order服务压力过大，我们需要把order服务作为集群，那么意味着 order是多节点部署，比如原来的，我们只有一台服务器，现在有多台服务器，那么作为运维人员 需要在服务消费方进行手工维护一份注册表(容易出错)3)有人马上回驳我说，我可以通过ng来做负载均衡,对，我首先认
2021-02-26 15:27:44
365
原创 第三节：Springboot快速集成第三方技术
1:springboot整合jdbc1.1:导入的maven依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jdbc</artifactId></dependency><dependency> <groupId>mysql</groupId> <
2021-02-19 20:52:27
826
原创 第二节：Springboot自动装配详解
springboot自动装配原理详解1)传统ssm整合redis的时候 需要在xml的配置文件中 进行大量的配置Bean我们在这里使用springboot来代替ssm的整合，只是通过xml的形式来整合redis第一步:加入配置<dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redis</artifactId> <ve
2021-02-19 20:13:21
218
原创 第一节：Springboot快速开始
一:springboot 微服务开发利器1.1)什么是微服务，微服务和微服务架构的区别?目前而已，对于微服务业界没有一个统一的标准定义,但是通常而言提倡把一个单一的应用程序划分为一组小 的服务，每个小的服务都会运行在自己的进程中，服务之间通过轻量级的通信机制（http的rest api）进行通信,那么 一个个的小服务就是微服务。①：单体架构与微服务架构图示传统的的单一电商应用来说，订单，支付，用户，商品，库存等模块都在一个项目中，若某一个模块出 现线上bug，会导致整个版本发布回退. 若把单
2021-02-19 17:11:42
410
2
原创 Apache ZooKeeper讲义
• 概述• 安装• 结构与原理• 应用场景• Zookeeper rmi高可用实现• 基于zookeeper• redis高可用实现需求分析什么是Zookeeper » Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务 »...
2018-03-28 17:33:30
389
原创 hadoop执行环境
System.setProperty("HADOOP_USER_NAME", "root");1、MR执行环境有两种：本地测试环境，服务器环境 本地测试环境(windows)： 在windows的hadoop目录bin目录有一个winutils.exe 1、在windows下配置hadoop的环境变量 2、拷贝debug工具(winutils.exe)到HADOOP_HOME/bin 3、修改ha...
2018-03-28 16:17:27
313
原创 Hadoop入门配置
Hadoop入门配置 主从机构 主：jobtracker 从：tasktracker四个阶段：1、 Split2、 Mapper：key-value（对象）3、 Shufflea) 分区（partition，HashPartition：根据key的hashcode值 和 Reduce的数量 模运算），可以自定义分区，运算速度要快。一定要解决数据倾斜和red...
2018-03-28 16:11:50
203
原创 高可用HA
HighAvailable 1、 需要心跳机制探测后端RS是否提供服务。a) 探测down，需要从lvs中删除该RSb) 探测发送从down到up，需要从lvs中再次添加RS。2、 Lvs DR，需要主从（HA） Keepalived : 提供高可用 ｖｒｒｐ协议，实现ＩＰ的漂移Zookeeper： 选举、心跳机制提供接管 Keepalived安装：...
2018-03-28 16:02:26
245
原创 Linux Virtual Server
Linux Virtual ServerIpvs : 嵌入到linux的内核IPVsadm：管理应用程序 负载均衡器1、硬件: F5BIG-IP CitrixNetScaler A10 2、软件 四层：tcp 之上的第四层协议 ...
2018-03-28 15:59:33
470
原创 服务器集群
Apache 和 nginx（web服务器）1、 多台集群机器联合处理一个任务。2、 一台机器处理不同的多个任务。特点： 处理静态数据速度快（自动html静态数据的缓存） 并发数一般要比J2EE服务器要高。安装apache： 1、简单安装：yum install httpd 2、源码安装 1、安...
2018-03-28 14:38:59
247
原创 nginx 负载均衡配置
NginxNginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一个 IMAP/POP3/SMTP 代理服务器。第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。2011年6月1日，nginx 1.0.4发布。Nginx是一款轻量级的Web 服务器/反向代理...
2018-03-28 14:35:17
236
原创 windows下python spark环境搭建
本环境搭建只是在windows下使用python编写spark程序有提示1、安装python2.7 （省略）下载安装包一直下一步安装即可2、配置spark下载spark-2.2.0-bin-hadoop2.7.tgz 解压到C:\BigData（路径随意）3、配置spark与python环境变量SPARK_HOME：C:\BigData\spark-2.2.0-bin-ha
2017-12-28 15:52:55
2728
转载 Spark中RDD的常用操作（Python）
Spark中RDD的常用操作（Python）弹性分布式数据集（RDD） Spark是以RDD概念为中心运行的。RDD是一个容错的、可以被并行操作的元素集合。创建一个RDD有两个方法：在你的驱动程序中并行化一个已经存在的集合；从外部存储系统中引用一个数据集。RDD的一大特性是分布式存储，分布式存储在最大的好处是可以让数据在不同工作节点并行存储，以便在需要数据时并
2017-12-17 12:18:00
1018
原创 spark python wordcount
#!/usr/bin/python# -*- coding: UTF-8 -*-'''初始化SparkConf, SparkContext从pyspark 导入SparkConf, SparkContext'''from pyspark import SparkConf, SparkContextconf = SparkConf().setMaster("local").setAp
2017-12-17 12:13:33
493
原创 spark方法收集
转化操作map(func) | 返回一个新的分布数据集，由原数据集元素经func处理后的结果组成filter(func) | 返回一个新的数据集，由传给func返回True的原数据集元素组成flatMap(func) | 与map类似，但是每个传入元素可能有0或多个返回值，func可以返回一个序列而不是一个值mapParitions(func) | 类似map，但是RDD的每个分片
2017-12-15 15:55:35
176
原创 hadoop2.8.0伪分布配置文件配置
core-site.xml: hadoop.tmp.dir /home/hadoop/tmp true fs.default.name hdfs://192.168.10.101:9000 true io.file.buffer.size 131072
2017-12-15 15:49:46
450
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人