weixin_38044597的博客

原创 Github热门开源项目

推荐20个5月最热门的Java开源项目

原创 TCP/IP协议

深入浅出TCP/IP协议栈一篇文章带你熟悉 TCP/IP 协议（网络协议篇二）TCP 详解TCP的三次握手与四次挥手理解及面试题（很全面）TCP协议中的三次握手和四次挥手(图解)TCP的三次握手与四次挥手（详解+动图）...

原创 数据库索引

原创 Java多线程

Java多线程基础（一）Java多线程基础（二）Java多线程进阶（一）Java多线程进阶（二）

原创 深入理解Java抽象类和接口

对于面向对象编程来说，抽象是它的一大特征之一。在Java中，可以通过两种形式来体现OOP的抽象：接口和抽象类。这两者有太多相似的地方，又有太多不同的地方。很多人在初学的时候会以为它们可以随意互换使用，但是实际则不然。今天我们就一起来学习一下Java中的接口和抽象类。一：抽象类1.抽象类特点如果一个类含有抽象方法，则称这个类为抽象类，抽象方法必须用abstract关键字...

原创 关于==和equals的区别和联系

1.关于==和equals1.1 对于==如果作用于基本数据类型的变量时，则直接比较其存储的“值”是否相等； 如果作用于引用类型的变量，则比较的是所指向的对象的地址。int x = 10;int y = 10;String str1 = new String("abc");String str2 = new String("abc");System.out.printl...

转载 Hive分区和分桶

1.分区和分桶1.1 分区和分桶优点我们知道传统的DBMS系统一般都具有表分区的功能，通过表分区能够在特定的区域检索数据，减少扫描成本，在一定程度上提高查询效率，当然我们还可以通过进一步在分区上建立索引进一步提升查询效率。在此就不赘述了。1.2 分区概念在Hive数仓中也有分区分桶的概念，在逻辑上分区表与未分区表没有区别，在物理上分区表会将数据按照分区键的列值存储在表目录的子目录中...

转载 Hive内部表和外部表详解

1.内部表和外部表比较未被external修饰的是内部表（managed table）；被external修饰的为外部表（external table）。 内部表数据由Hive自身管理；外部表数据由HDFS管理； 内部表数据存储的默认位置是：/user/hive/warehouse/数据表名，可配置参数：hive.metastore.warehouse.dir；外部表数据的存储位置由自己...

转载 Hive数据仓库设计的四个层次设计

数据仓库：数据仓库全面接收源系统数据，ETL进程对数据进行规范化、验证、清洗，并最终装载进入数据集市，通过数据集市支持系统进行数据查询、分析，整个数据仓库包含四大层次。1.数据仓库的四个操作 ETL(extractiontransformation loading)负责将分散的、异构数据源中的数据抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中。ETL...

原创 RabbitMQ、Kafka、ActiveMQ消息队列重复消费和顺序消费

阿里RocketMQ如何解决消息的顺序&重复两大硬伤？https://dbaplus.cn/news-73-1123-1.html

转载 RabbitMQ、Kafka、ActiveMQ消息队列数据丢失

目录1.RabbitMQ数据丢失1.1生产者弄丢失数据1.2 RabbitMQ丢失数据1.3 消费端丢失数据2.Kafka数据丢失2.1生产者弄丢失数据2.2 Kafka丢失数据2.3 消费端丢失数据3.ActiveMQ数据丢失1.RabbitMQ数据丢失1.1生产者弄丢失数据生产者将数据发送到rabbitmq的时候，可能数据就在半路给搞丢了...

原创 优秀的消息队列博客

RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总https://blog.csdn.net/linsongbin1/article/details/47781187最全最给力的kafka博客：http://blog.csdn.net/lizhitao/article/category/2194509...

转载 ActiveMQ 高可用集群安装、配置

ActiveMQ 高可用集群安装、配置https://huangxubo.me/blog/activemq/activemq-install/#%E4%BA%8Cactivemq-%E5%AE%89%E8%A3%85%E4%B8%8E%E9%85%8D%E7%BD%AE

原创 RabbitMQ、Kafka、ActiveMQ消息队列高可用

目录1.RabbitMQ的高可用1.1 单机模式1.2 普通集群模式1.3 镜像集群模式2.Kafka的高可用3.activeMQ的高可用3.1Shared Nothing Master/Slave3.2Shared Database Master/Slave3.3Shared File system Master/Slave3.4 基于Zookee...

转载 Kafka、ActiveMQ、RabbitMQ、RocketMQ 优点和缺点（二）

目录1.为什么使用消息队列？（消息队列的优缺点）（1）解耦（2）削峰（3）异步2： 消息队列优缺点？1.系统可用性降低2.系统复杂度提高3.一致性问题1.为什么使用消息队列？（消息队列的优缺点）结合业务使用场景，阐述使用使用消息队列带来的好处。解耦、削峰、异步（1）解耦看这么个场景。A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 ...

转载 Kafka、ActiveMQ、RabbitMQ、RocketMQ 优点和缺点（一）

目录一：kafka、activemq、rabbitmq、rocketmq优点和缺点1.单机吞吐量2.Topic数量对吞吐量的影响3.时效性4.可用性5.消息可靠性6.功能支持二：优劣势总结ActiveMQ：RabbitMQ：RocketMQ:Kafka:一：kafka、activemq、rabbitmq、rocketmq优点和缺点1.单机吞...

转载 nginx学习，看这一篇就够了：下载、安装。使用：正向代理、反向代理、负载均衡。常用命令和配置文件

nginx学习，看这一篇就够了：下载、安装。使用：正向代理、反向代理、负载均衡。常用命令和配置文件https://blog.csdn.net/qq_40036754/article/details/102463099

转载 ActiveMQ·基础篇

过了个春节，回到公司的成小胖变成了成大胖。但是你们千万别以为他那个大肚子里面装的都是肥肉，里面的墨水也多了不少嘞，毕竟成小胖利用春节的半个月时间专心学习并研究了 ActiveMQ，嘿嘿……这不，为了检验下自己的学习成果，上班的第一天成小胖就去找架构师老王交流 ActiveMQ 相关的知识，还顺便向老王讨了个红包，可把成小胖给高兴坏了。“来，根据你的了解说下 ActiveMQ 是什么。”“这...

转载 Kafka详细原理总结

Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于...

转载 Kafaka工作原理

两张图读懂kafka应用：Kafka 中的术语broker：中间的kafka cluster，存储消息，是由多个server组成的集群。topic：kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。producer：往broker中某个topic里面生产数据。consumer：从broker中某个topic获取数据。Kafka 中的术语设...

转载 Kafka基本原理、执行流程和使用场景

目录一、简介二、Kafka基本架构三、基本原理四、Zookeeper在kafka的作用五、执行流程六、Kafka的特性七、Kafka的使用场景一、简介Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apach...

转载 Flume FileChannel优化（扩展）实践指南

目录1. 应用场景2. Flume实例架构3. Flume调试及优化扩展3.1 ScribeSource3.2 FileChannel3.2.1 默认FileChannel3.2.2 扩展FileChannel3.2.3 KafkaSink4.Flume Todo5. 生产环境部署本文系微博运维数据平台（DIP）在Flume方面的优化扩展经验总结，在使...

转载 Flume Channel Selectors使用

前几篇文章只有一个项目的日志，现在我们考虑多个项目的日志的收集，我拷贝了一份flumedemo项目,重命名为flumedemo2,添加了一个WriteLog2.java类，稍微改动了一下JSON字符串的输出，将以前requestUrl中的"reporter-api"改为了"image-api",以便和WriteLog类的输出稍微区分开来，如下：package com.besttone.flu...

转载 ActiveMQ的作用总结（应用场景及优势）

业务场景说明:消息队列在大型电子商务类网站，如京东、淘宝、去哪儿等网站有着深入的应用，队列的主要作用是消除高并发访问高峰，加快网站的响应速度。在不使用消息队列的情况下，用户的请求数据直接写入数据库，在高并发的情况下，会对数据库造成巨大的压力，同时也使得系统响应延迟加剧。在使用队列后，用户的请求发给队列后立即返回，（例如: 当然不能直接给用户提示订单提交成功，京东上提示：您“您提...

转载 Flume拦截器

目录摘要:一、拦截器的种类介绍1、Timestamp Interceptor(时间戳拦截器)2、Host Interceptor(主机拦截器)3、静态拦截器(Static Interceptor)4、正则过滤拦截器(Regex Filtering Interceptor)5、Regex Extractor Interceptor6、UUID Interceptor...

转载 Flume数据事务传输分析

Flume数据传输事务分析本文基于ThriftSource,MemoryChannel,HdfsSink三个组件，对Flume数据传输的事务进行分析，如果使用的是其他组件，Flume事务具体的处理方式将会不同。一般情况下，用MemoryChannel就好了，我们公司用的就是这个，FileChannel速度慢，虽然提供日志级别的数据恢复，但是一般情况下，不断电MemoryChannel是不会丢数...

转载 Flume基本使用

Flume学习总结 ...

转载 Flume开发中常用组件source,channel,sink等配置

       实际开发中Flume中常用的source源，sink，channel，intercepertor等介绍，而实际上关于agent代理中设置选项有很多，具体要到官网去查看。组件使用介绍     source数据源Avro监听由Avro sink 或F...

转载 Flume的拦截器和分区使用

实际开发中，为了对数据集的方便查询和使用，大型数据集常常被组织为分区（partition）。Flume事件的数据通常按时间来分区。比如把flume监听的数据写入到hdfs中时，就可以进行按时间分区，只需要对hdfs.path的属性进行设置如下： agent.sinks.sink1.path=/data/flume/year=%Y/month=%...

转载 Flume的事务机制和可靠性

实际开发中，或者在面试中，总会碰到诸如Flume如何保证数据传输的完整性？一：Flume的事务机制所以这就不得不提Flume的事务机制（类似数据库的事务机制）：Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。比如以上面一篇博客中的事例为例：spooling directory source 为文件的每一行创...

转载 Flume架构以及应用介绍

目录（一）Flume架构介绍1、Flume的概念（二）flume应用—日志采集在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。...

转载 Flume原理解析

目录一、Flume简介二、Flume特点三、Flume的一些核心概念3.1、Agent结构3.2、source3.3、Channel3.4、Sink四、Flume拦截器、数据流以及可靠性4.1、Flume拦截器4.2、Flume数据流4.3、Flume可靠性五、Flume使用场景5.1、多个agent顺序连接5.2、多个Agent的数据汇聚...

转载 数据库调优（一）

从这一篇开始，我们正式进入了 SQL 性能优化篇。在这一模块中，我们会关注如何提升 SQL 查询的效率。你可以思考一下，如何你是一名 DBA 或者开发人员，都有哪些维度可以进行数据库调优？其实关于数据库调优的知识点非常分散。不同的 DBMS，不同的公司，不同的职位，不同的项目遇到的问题都不尽相同。为了能让你对数据库调优有一个整体的概览，我把这些知识点做了一个梳理，希望能对你有一些帮助。今天...

转载 动画图解：十大经典排序算法动画与解析，看我就够了！（配代码完全版）

排序算法是《数据结构与算法》中最基本的算法之一。排序算法可以分为内部排序和外部排序。内部排序是数据记录在内存中进行排序。而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。用一张图概括：时间复杂度与空间复杂度关于时间复杂度：平方...

转载 挑战10个最难的Java面试题

这是收集的10个最棘手的Java面试问题列表。这些问题主要来自 Java 核心部分 ,不涉及 Java EE 相关问题。你可能知道这些棘手的 Java 问题的答案，或者觉得这些不足以挑战你的 Java 知识，但这些问题都是容易在各种 Java 面试中被问到的，而且包括我的朋友和同事在内的许多程序员都觉得很难回答。1 为什么等待和通知是在 Object 类而不是 Thread 中声明的？一个...

转载 JVM性能调优

最近因项目存在内存泄漏，故进行大规模的JVM性能调优 ， 现把经验做一记录。一、JVM内存模型及垃圾收集算法1.根据Java虚拟机规范，JVM将内存划分为：New（年轻代）Tenured（年老代）永久代（Perm）其中New和Tenured属于堆内存，堆内存会从JVM启动参数（-Xmx:3G）指定的内存中分配，Perm不属于堆内存，有虚拟机直接分配，但可以通过-XX:Pe...

转载 session和cookie 区别(面试)

session原理：session是保存在服务器端，理论上是没有是没有限制，只要你的内存够大。 浏览器第一次访问服务器时会创建一个session对象并返回一个JSESSIONID=ID的值，创建一个Cookie对象key为JSSIONID，value为ID的值，将这个Cookie写回浏览器。 浏览器在第二次访问服务器的时候携带Cookie信息JSESSIONID=ID的值，如果该JSES...

转载 Cookie/Session/Token机制详解

会话（Session）跟踪是Web程序中常用的技术，用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份，Session通过在服务器端记录信息确定用户身份。本章将系统地讲述Cookie与Session机制，并比较说明什么时候不能用Cookie，什么时候不能用Session。1.Cookie在程序中，会话跟踪是很重要的事情...

转载 Windows+Nginx+Tomcat搭建负载均衡和集群环境同时实现Session共享

Windows+Nginx+Tomcat搭建负载均衡和集群环境同时实现session共享(一)

原创 MapReduce编程规范及示例

目录1.MapReduce编程模型1.1 MapReduce编程模型的总结1.2 MapReduce编程步骤2.MapReduce编程示例2.1 定义一个mapper类2.2 定义一个reducer类2.3 定义一个主类，用来描述job并提交job1.MapReduce编程模型1.1 MapReduce编程模型的总结MapReduce的开发一共有八个步骤其...