- 博客(183)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 1 长的链接转短链接
0 优点1 移动互联网浪潮下，长的链接要占用我们内容的一半篇幅， 用户体验很差。2 规避关键词、域名屏蔽手段、隐藏真实地址，适合做付费推广链接3 时效性如何生成短连接如何DNS访问真实服务器多个跳转到真实URL...
2021-05-23 17:21:24
638
原创 hadoop --7 HA
自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：1）故障检测 集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。2）现役NameNode选
2021-05-16 10:35:07
385
原创 分布式事务---1 XA 2PC 与3PC
消息传递异步无序(asynchronous): 现实网络不是一个可靠的信道，存在消息延时、丢失，节点间消息传递做不到同步有序(synchronous)节点宕机(fail-stop): 节点持续宕机，不会恢复节点宕机恢复(fail-recover): 节点宕机一段时间后恢复，在分布式系统中最常见网络分化(network partition): 网络链路出现问题，将N个节点隔离成多个部分拜占庭将军问题(byzantine failure)[2]: 节点或宕机或逻辑失败，甚至不按套路出牌抛出干扰决议的信息
2021-05-16 09:39:36
133
原创 CPU 缓存
原子累加器Striped64的时候，发现有一个“伪共享”的概念参考1 https://blog.csdn.net/iteye_9421/article/details/82726596
2021-05-16 09:21:18
86
原创 Kafka-------日志原理
ZK记录了主题与分区的关系0 客户端的消息集每个消息集偏移量，数据大小、数据内容等。Meeage。scala中1 日志结构一个分区定义个独立的目录，多个segment（默认1g）segment主要由3部分组成：索引文件：后缀为.index的文件；日志文件：后缀为.log的文件；时间戳索引文件：后缀为timeindex的文件。segment 文件命名规则：partition 全局的第一个 segment从 0 开始，后续每个 segment 文件名为上一个 segment文件最后一条消息
2021-05-13 08:47:16
176
原创 Spark--3 DAGScheduler
两大能力：1 维护waiting jobs和active jobs，维护waiting stages、active stages和failed stages，以及与jobs的映射关系；2 .面向stage的切分
2021-05-11 04:55:17
277
原创 spark ---1 Shuffle
1 Hash Shuffle V1相对于传统的 MapReduce，Spark 假定大多数情况下 Shuffle 的数据不需要排序，例如 Word Count，强制排序反而会降低性能。因此不在 Shuffle Read 时做 Merge Sort，如果需要合并的操作的话，则会使用聚合（agggregator），即用了一个 HashMap （实际上是一个 AppendOnlyMap）来将数据进行合并。在 Map Task 过程按照 Hash 的方式重组 Partition 的数据，不进行排序。每个 Ma.
2021-05-11 04:34:22
242
原创 Spark -- 0 简介
1 组要功能2 运行环境standalone cluster mode, on EC2（Amazon Elastic Compute Cloud (Amazon EC2) 是一种 Web 服务，能在云中提供安全且可调整大小的计算能力）, on Hadoop YARN, on Mesos, or on Kubernetes.数据源 HDFS, Alluxio, Apache Cassandra, Apache HBase, Apache Hive...
2021-05-11 03:54:29
231
1
原创 java将double型数 toString
double d = 1234567892.50; NumberFormat format = NumberFormat.getInstance(); format.setMinimumFractionDigits(7); String s= format.format(d); System.out.println(s);Double整数部分超6位用科学计数法表示。double 与BigDecimal 需要额外精度，查过8会使用科学计算法。1,234,567...
2021-05-05 21:39:39
422
原创 【Seata】---0 四种模式
官网 https://github.com/seata/seataSeata支持：1 AT2 TCC3 Saga4 XA
2021-05-04 17:11:21
463
1
原创 Hbase -----------3 优化
1 配置优化2 rowkey设计2.1 rowkey长度原则rowkey是一个二进制码流， 最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存。一般越短越好，不要超过16个字节，设计过长会降低memstore内存的利用率和HFile存贮数据的效率。2.2 热点2.2.1预分区预分区的目的让表的数据可以均衡的分散在集群中，而不是默认只有一个region分布在集群的一个节点上。2.2.2加盐这里所说的加盐不是密码学中的加盐，而是在rowkey的前面增加随机数，具体
2021-04-28 19:26:08
248
原创 hadoop ---6 yarn
http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/YARN.html1 架构1.1 ResoureManager1.2
2021-04-25 22:30:06
103
原创 hadoop ----5 MR
MapReduce 是一个分布式计算框架，基于HDFS.优点1 易于编程2 易于扩展3 高容错4 离线处理缺点1 不擅长实时计算2 不擅长流式3 不擅长DAG 关系输入和输出2 进程2.1 MrApp整个任务的调度和状态协调。开启MapTask和ReduceTask ，资源2.2 MapTask拆分任务2.3 ReduceTask合并结果3 编写Mapper类Reducer类 Driver类3.1 Mapper类Mapper<LongWritable, Text,
2021-04-25 05:38:06
253
原创 kafka --3 协调器
kafka-0.10 版本，引入协调器。1 Kafka 在服务端引入了**组协调器(GroupCoordinator)，**每个 Kafka Server 启动时都会创建一个 GroupCoordinator 实例，用于管理部分消费者组和该消费者组下的每个消费者的消费偏移量。2 在客户端引入了消费者协调器(ConsumerCoordinator)，实例化一个消费者就会实例化一个 ConsumerCoordinator 对象，ConsumerCoordinator 负责同一个消费者组下各消费者与服务端的
2021-04-24 23:09:51
161
原创 hadoop ----4 hdfs
HDFS，是Hadoop Distributed File System的简称，是Hadoop抽象文件系统的一种实现。Hadoop抽象文件系统可以与本地系统、Amazon S3等集成，甚至可以通过Web协议（webhsfs）来操作。HDFS的文件分布在集群机器上，同时提供副本进行容错及可靠性保证。例如客户端写入读取文件的直接操作都是分布在集群各个机器上的优点1 高可用，多副本2 GB PB级别的数据量3 廉价机器缺点1 不适合低延时2 不适合小文件处理3 不适合并发4 不适合随机文件修改。
2021-04-24 21:43:39
175
原创 hadoop ----3 Yarn
Apache Yarn（Yet Another Resource Negotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop 2引入，最初是为了改善MapReduce的实现，但是它具有通用性，同样执行其他分布式计算模式。
2021-04-24 20:49:56
126
原创 hadoop ----2 配置文件
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。（1）默认配置文件：文件功能路径core-default.xmlhadoop属性配置文件hadoop-common-2.7.2.jar/ core-default.xmlhdfs-default.xml配置文件的配置hadoop-common-2.7.2.jar/ core-default.xmlyarn-default.xmly
2021-04-24 20:32:34
291
原创 Hadoop ------1基础
Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它被设计成从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不是依赖硬件来提供高可用性，而是设计用于在应用层检测和处理故障，因此在计算机集群上提供高可用性服务，每个计算机集群都可能发生故障...
2021-04-24 18:58:09
129
原创 Mysql---如何加锁的
1 RR级别1 insert2 delete3 update2 RC级别1 insert2 delete3 update
2021-04-24 16:28:29
645
原创 Hbase ----3写入过程
参考1 https://blog.csdn.net/qq_41919284/article/details/81676636
2021-04-24 05:38:29
160
原创 线程之间通讯、进程间的通信
1 线程之间通讯2 进程之间通讯2.1 管道（ pipe ）管道是一种半双工的通信方式，数据只能单向流动，而且只能在具有亲缘关系的进程间使用。进程的亲缘关系通常是指父子进程关系。2.2 命名管道 （named pipe）：有名管道也是半双工的通信方式，但是它允许无亲缘关系进程间的通信。2.3 信号量（ semophore ）：信号量是一个计数器，可以用来控制多个进程对共享资源的访问。不是用于交换大批数据，而用于多线程之间的同步。常作为一种锁机制，防止某进程在访问资源时其它进程也访问该资源。因此
2021-04-24 00:11:28
89
原创 HTTPS的加密机制
1 传输内容使用对称加密2 建立连接客户端支持加密算法带到服务端。服务单选择支持的加密算法，把证书（服务单身份，公钥）发给客户端。客户端验证证书的真伪，证书的目的证明拿到的公钥是服务端给的，不是。证书有数字签名的也是CA机构加密的。客户端预置产生CA证书的公钥（操作系统或浏览器预装的）。对服务端证书的数字签名进行解密，证书的内容可见。证书里面的明文，一致。客户端公钥 发给服务端、...
2021-04-22 01:56:08
68
原创 Dubbo ----5 Dubbo -协议
header用来存放一些协议信息，body具体存放要传输的经过序列化后的数据。1 同步异步2 请求和返回序列化的序列化方式3 响应状态码4 请求id5 body的长度
2021-04-21 19:30:42
60
原创 protocolbuffer hessian thrift对比
1.1 protocol buffer跨语言、压缩体积小1.2 HessianHessian序列化是一种支持动态类型、跨语言、基于对象传输的网络协议，Java对象序列化的二进制流可以被其他语言（如，c++，python）。特性如下：自描述序列化类型。不依赖外部描述文件或者接口定义，用一个字节表示常用的基础类型，极大缩短二进制流。语言无关，支持脚本语言协议简单，比Java原生序列化高效相比hessian1，hessian2中增加了压缩编码，其序列化二进制流大小事Java序列化的50%，序列化耗时
2021-04-19 00:31:22
556
原创 volatile、final和synchronized
0 内存内存屏障（memory barrier）是一个CPU指令。基本上，它是这样一条指令： a) 确保一些特定操作执行的顺序； b) 影响一些数据的可见性(可能是某些指令执行后的结果)0.1 Java内存屏障主Java内存屏障主要有Load和Store两类。对Load Barrier来说，在读指令前插入读屏障，可以让高速缓存中的数据失效，重新从主内存加载数据对Store Barrier来说，在写指令之后插入写屏障，能让写入缓存的最新数据写回到主内存1 LoadLoad 屏障序列：Load1,
2021-04-16 01:49:51
231
原创 Spring boot 2.x----------4 web.xml
官方文档 ：https://docs.spring.io/spring-boot/docs/current/reference/html/spring-boot-features.html#boot-features-embedded-container1 使用@WebServlet, @WebFilter, and @WebListener 原生的serlet3.0规范 + @ServletComponentScan.Scanning for Servlets, Filters, and liste
2021-04-11 05:58:05
293
原创 Spring boot 2.x----------2 常用注解以及自动配置
1 @Configuration Full(proxyBeanMethods = true)、【保证每个@Bean方法被调用多少次返回的组件都是单实例的】 Lite(proxyBeanMethods = false)【每个@Bean方法被调用多少次返回的组件都是新创建的】
2021-04-11 02:16:53
224
原创 Spring boot 2.x----------1简介
1 与spring不同1 微服务2 响应式3 clound4 serverless Fass 无需计算资源5 batch 批处理6 事件2 springboot2.0新特性
2021-04-11 01:01:30
142
原创 SpringMVC
1 springMVC的流程是什么？主要组件说明?SpringMVC的优点?第一步：发起请求到前端控制器(DispatcherServlet)第二步：前端控制器请求HandlerMapping查找 Handler （可以根据xml配置、注解进行查找）第三步：处理器映射器HandlerMapping向前端控制器返回Handler，HandlerMapping会把请求映射为HandlerExecutionChain对象（包含一个Handler处理器（页面控制器）对象，多个HandlerIntercep
2021-04-10 23:46:46
163
原创 Scala----2 Akka
Akka是JAVA虚拟机平台上构建高并发、分布式和容错应用的工具包和运行时。Akka处理并发的方法基于Actor模型。
2021-03-14 09:48:48
91
原创 Scala----1基础
1 None,Nothing,Null,NilNone是一个object，是Option的子类型，定义如下case object None extends Option[Nothing] { def isEmpty = true def get = throw new NoSuchElementException("None.get")}scala推荐在可能返回空的方法使用Option[X]作为返回类型。如果有值就返回Some[x](Some也是Option的子类)，否则返回None，例如
2021-03-11 00:31:53
342
原创 java 异常处理
1 方法覆盖这种情况下三个原则：1、子类重写父类方法要抛出与父类一致的异常，或者不抛出异常2、子类重写父类方法所抛出的异常不能超过父类的范畴（仅指检查型异常）备注：子类重写的方法可以抛出任何运行期异常3、子类在重写父类的具有异常声明的方法的同时，又去实现了具有相同方法名称的接口且该接口中的方法也具有异常声明，则子类中的重写的方法，要么不抛出异常，要么抛出父类中方法声明异常与接口中方法声明的异常的交集。2 线程处理异常2.1 unchecked exception 对于这种unchecked
2021-02-22 03:56:31
216
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人