2018年12月_跨过山河大海

原创基于Hadoop大数据分析应用场景与实战

一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom： Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。 Spark采用了内存计算。从多迭代批处理出...

2018-12-30 12:17:30 5969

原创消息队列-ActiveMQ

1 业务需求描述举例描述：再警情通报的业务时通过发送消息界面可以选择警情联络，和船情通报两种消息发送方式可分为一对一发送：部门对部门、个人对个人一对多发送：部门对多部门、个人对多人2 功能实现设计基于上述需求描述，在消息传输功能实现上选用activemq进行警情联络消息传输功能的实现。1. 基础概念ActiveMQ：是Apache出品，最流行的，能力强劲的开...

2018-12-28 12:08:48 151

原创 activeMQ和spring的整合

今天分享的是activemq框架和spring框架的整合使用。(1)导入activemq的核心jar包和整合spring需要的两个jar包 context-support和jms.jar(使用spring的版本是4.2.7 activemq的版本是5.11.2)<properties>　　<spring.version>4...

2018-12-27 11:01:27 311

原创 ActiveMQ 填坑记

Mysql 持久化现在大家使用MQ，基本都是会把数据进行持久化，MQ默认存储持久化数据使用kahaDB，但是鉴于大家对mysql比较熟悉，很多人会选择mysql进行数据的持久化，因为mysql查看数据还是比较方便的。如果需要把持久化方式改为mysql，则需要修改如下配置：<persistenceAdapter> <jdbcPersistenceA...

2018-12-26 11:31:35 159

原创 Spark资源调度和任务调度过程介绍

一、前述Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。自愿申请的话，本文分粗粒度和细粒度模式分别介绍。二、具体Spark资源调度流程图：Spark资源调度和任务调度的流程： 1、启动集群后，Worker节点会向Master节点汇报资源情况，Master掌握了集群资源情况。2、当Spark提交一个Applic...

2018-12-25 11:00:14 155

原创 SpringCloud源码：Ribbon负载均衡分析

本文主要分析 SpringCloud 中 Ribbon 负载均衡流程和原理。SpringCloud版本为：Edgware.RELEASE。一.时序图和以前一样，先把图贴出来，直观一点：二.源码分析我们先从 contoller 里面看如何使用 Ribbon 来负载均衡的：@GetMapping("/user/{id}") public User findById...

2018-12-24 11:24:12 137

原创 Dubbo分析之Registry层

前言本文分析dubbo的register层；此层封装服务地址的注册与发现，以服务URL为中心，扩展接口为RegistryFactory, Registry, RegistryService；Registry接口接口定义如下：public interface Registry extends Node, RegistryService {}public interface R...

2018-12-22 11:28:28 1410

原创 Java内存区域

对于 Java 程序员来说，在虚拟机自动内存管理机制下，不再需要像C/C++程序开发程序员这样为内一个 new 操作去写对应的 delete/free 操作，不容易出现内存泄漏和内存溢出问题。正是因为 Java 程序员把内存控制权利交给 Java 虚拟机，一旦出现内存泄漏和溢出方面的问题，如果不了解虚拟机是怎样使用内存的，那么排查错误将会是一个非常艰巨的任务。运行时数据区线程私有的...

2018-12-21 11:19:26 83

原创 Java NIO之Buffer

Buffer是固定大小的数据的容器，其作用是一个存储器，或者分段运输区，在这里数据可被存储并在之后用于检索。缓冲区的工作与通道紧密联系，待传递出去的数据被置于一个缓冲区，被传送到通道；待传回的缓冲区的传输，一个通道将数据放置在所提供的缓冲区中。这种在协同对象之间进行的缓冲区数据传递是高效数据处理的关键。Buffer类的层次图下图是Buffer类的层次图。在顶部是通用Buffer类，Buff...

2018-12-20 11:06:03 100

原创 Java开发学习--MongoDB

之前只学过sql，第一次使用非关系型数据库。以前对于关系型数据库与非关系型数据库的概念很模糊，通过这次的学习对这两者有了一个清晰的概念。主键在MongoDB中，主键名叫"_id"，如果在生成数据的时候，用户不主动为其分配一个主键的话，MongoDB会自动生成一个随机分配的值。第一条数据是我一开始忘了分配主键，MongoDB自动生成的值，类型为ObjectId。第二条数据是我主动...

2018-12-19 11:33:21 126

原创深入理解Java8 Lambda表达式

一、Lambda表达式是什么？Lambda表达式有两个特点：一是匿名函数；二是可传递。匿名函数的应用场景是：通常在需要一个函数，但又不想费神去命名一个函数的场合下使用。Lambda表达式所表示的匿名函数的内容应该是很简单的，如果复杂的话，干脆就去重新定义一个函数了。可传递的应用场景是：就是将Lambda表达式作为参数传递给其他函数，Lambda表达式作为一种更紧凑的代码风格，使...

2018-12-18 11:23:54 225

Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。Hadoop与Kubernetes之间有很深的渊源，因为都出自IT豪门——Google，只不过，后者是亲儿子，正因为有大佬背书，所以Kubernetes一出山，江湖各路门派便都蜂拥而至，拥护称王。不知道是因为Hadoop...

2018-12-17 11:07:36 487

原创 Java 内存模型

一、Java内存模型硬件处理电脑硬件，我们知道有用于计算的cpu、辅助运算的内存、以及硬盘还有进行数据传输的数据总线。在程序执行中很多都是内存计算，cpu为了更快的进行计算会有高速缓存，最后同步至主内存，大概的交互如下图为了使处理器内部的运算单元能够被充分的利用，处理器可能会对输入代码进行乱序执行优化，然后将计算后的结果进行重组，保证该结果和顺序执行的结果是一致的（单位时间内，一个...

2018-12-14 11:36:46 163

原创架构师必备，带你弄清混乱的JAVA日志体系

引言还在为弄不清 commons-logging-xx.jar 、 log4j-xx.jar 、 sl4j-api-xx.jar 等日志框架之间复杂的关系而感到烦恼吗？还在为如何统一系统的日志输出而感到不知所措嘛？您是否依然存在这样的烦恼。比如，要更改spring的日志输出为log4j 2，却不知该引哪些jar包，只知道去百度一下所谓的博客，照着人家复制，却无法弄懂其中的原理？不要...

2018-12-13 11:14:11 157

原创 zookeeper收尾+dubbo前瞻

zookeeper是一个开源的分布式协调框架：数据发布订阅，负载均衡，集群，master选举。原子性：要么同时成功，要么同是失败（分布式事务）单一视图：无论客户端连接到哪个服务器，所看到的模型都是一样的可靠性：一旦服务器端提交了一个事务并且获得了服务器端返回成功的标识，那么这个事务所引起的服务器端的变更会一直保留实时性：近实时性zookeeper不是用来存储数据的，通通过监控数...

2018-12-12 11:13:09 89

原创 SpringCloud组件：Eureka高可用集群部署

高可用集群部署 Eureka 服务注册中心。构建项目使用 idea 开发工具创建一个 SpringBoot 项目，添加 Eureka Server 依赖即可， pom.xml 配置文件如下所示：......<parent> <groupId>org.springframework.boot</groupId> <artifa...

2018-12-11 11:38:04 410

原创 Docker与自动化测试及其测试实践

Docker 与自动化测试对于重复枯燥的手动测试任务，可以考虑将其进行自动化改造。自动化的成本在于自动化程序的编写和维护，而收益在于节省了手动执行用例的时间。简而言之，如果收益大于成本，测试任务就有价值自动化，否则受益的只是测试人员的自动化技能得到了提升。利用 Docker 的快速部署、环境共享等特性，可以大大减少自动化的成本，使很多原本没有价值自动化的测试任务变为了有价值自动化的任务，...

2018-12-10 17:21:16 687

原创 ZooKeeper分布式锁简单实践

ZooKeeper分布式锁的实现原理在分布式解决方案中，Zookeeper是一个分布式协调工具。当多个JVM客户端，同时在ZooKeeper上创建相同的一个临时节点，因为临时节点路径是保证唯一，只要谁能够创建节点成功，谁就能够获取到锁。没有创建成功节点，就会进行等待，当释放锁的时候，采用事件通知给客户端重新获取锁资源。如果请求超时直接返回给客户端超时，重新请求即可。代码实现为了更好...

2018-12-08 15:17:11 237

原创 Redis内存空间简单分析

背景最近发现项目中用的 redis 内存消耗很大（但是印象中却以为没有这么多的key的内存消耗才对呀？），使用 info 命令可以看到所有key占用的一些内存大小以及key的数量等等，如下图所示(只截图了memory和keyspace部分)：可以发现， info 命令只能看到总的内存大小以及key的数量等。这些对于分析到底哪些或哪类key占用的内存较大是远远不够的！工具调研...

2018-12-07 16:20:16 548

原创 nginx配置、反向代理缓存、负载均衡

一、nginx基本配置nginx开启文件目录浏览功能（web上显示目录）1location / { 2 root /data/www/file //指定实际目录绝对路径； 3 autoindex on; //开启目录浏览功能； 4 ...

2018-12-06 22:16:41 151

原创 RabbitMQ拉模式批量消费消息

实现RabbitMQ的消费者有两种模式，推模式（Push）和拉模式（Pull）。实现推模式推荐的方式是继承 DefaultConsumer 基类，也可以使用Spring AMQP的 SimpleMessageListenerContainer 。推模式是最常用的，但是有些情况下推模式并不适用的，比如说：由于某些限制，消费者在某个条件成立时才能消费消息需要批量拉取消息进行...

2018-12-05 16:51:54 12276 2

原创 RabbitMQ权限控制原理

我们在使用MQ搭建系统的时候，经常要开放队列给外接系统访问。外接系统的稳定性是不可控的。为了防止外接系统不稳定导致误操作破坏了MQ的配置或数据，需要对MQ做比较精细的权限控制。我的需求是这样的：我有一个数据查询服务，并且通过MQ推送数据变动消息。对接MQ的每个系统都会有自己一个独立的队列来读取消息。所有消息通过一个扇形交换机广播到所有队列。我需要这个交换机和所有队列都由管理员统一创建好。而...

2018-12-04 21:20:10 203

原创 MongoDB主从复制和副本集

MongoDB有主从复制和副本集两种主从复制模式，主从复制最大的问题就是无法自动故障转移，MongoDB副本集解决了主从模式无法自动故障转义的特点，因此是复制的首选。对于简单的主从复制无法自动故障转移的缺陷，各个数据库都在改进，MySQL推出的MGR，Redis的哨兵，Mongodb的复制集。对于主从复制模式：mongodb的主从配置异常简单，如果是非安全认证模式，只需要在主节点增...

2018-12-03 18:02:47 412

原创 Netty源码分析之ChannelPipeline

每个channel内部都会持有一个ChannelPipeline对象pipeline. pipeline默认实现DefaultChannelPipeline内部维护了一个DefaultChannelHandlerContext链表。当channel完成register、active、read等操作时，会触发pipeline的相应方法。1、当channel注册到selecto...

2018-12-02 17:02:42 120

跨过山和大海的博客