跨过山和大海的博客

最新java资料分享 帮助有需要的朋友

基于Hadoop大数据分析应用场景与实战

一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。 目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom: Hadoop当前大数据管理标准之一,运用在当前很多商业应用系统。可...

2018-12-30 12:17:30

阅读数 211

评论数 0

消息队列-ActiveMQ

1 业务需求描述 举例描述: 再警情通报的业务时通过发送消息界面可以选择 警情联络,和船情通报两种消息 发送方式可分为 一对一发送:部门对部门、个人对个人 一对多发送:部门对多部门、个人对多人 2 功能实现设计 基于上述需求描述,在消息传输功能实现上选用activemq进行警情联络...

2018-12-28 12:08:48

阅读数 39

评论数 0

activeMQ和spring的整合

今天分享的是activemq框架和spring框架的整合使用。 (1)导入activemq的核心jar包和整合spring需要的两个jar包  context-support和jms.jar(使用spring的版本是4.2.7 activemq的版本是5.11.2) <...

2018-12-27 11:01:27

阅读数 33

评论数 0

ActiveMQ 填坑记

Mysql 持久化 现在大家使用MQ,基本都是会把数据进行持久化,MQ默认存储持久化数据使用kahaDB,但是鉴于大家对mysql比较熟悉,很多人会选择mysql进行数据的持久化,因为mysql查看数据还是比较方便的。如果需要把持久化方式改为mysql,则需要修改如下配置: &amp...

2018-12-26 11:31:35

阅读数 53

评论数 0

Spark资源调度和任务调度过程介绍

一、前述 Spark的资源调度是个很重要的模块,只要搞懂原理,才能具体明白Spark是怎么执行的,所以尤其重要。 自愿申请的话,本文分粗粒度和细粒度模式分别介绍。 二、具体 Spark资源调度流程图: Spark资源调度和任务调度的流程:   1、启动集群后,Worker节点会向...

2018-12-25 11:00:14

阅读数 29

评论数 0

SpringCloud源码:Ribbon负载均衡分析

本文主要分析 SpringCloud 中 Ribbon 负载均衡流程和原理。 SpringCloud版本为:Edgware.RELEASE。 一.时序图 和以前一样,先把图贴出来,直观一点: 二.源码分析 我们先从 contoller 里面看如何使用 Ribbon 来负载均衡的:...

2018-12-24 11:24:12

阅读数 35

评论数 0

Dubbo分析之Registry层

前言 本文分析dubbo的register层;此层封装服务地址的注册与发现,以服务URL为中心,扩展接口为RegistryFactory, Registry, RegistryService; Registry接口 接口定义如下: public interface Registry ex...

2018-12-22 11:28:28

阅读数 72

评论数 0

Java内存区域

对于 Java 程序员来说,在虚拟机自动内存管理机制下,不再需要像C/C++程序开发程序员这样为内一个 new 操作去写对应的 delete/free 操作,不容易出现内存泄漏和内存溢出问题。正是因为 Java 程序员把内存控制权利交给 Java 虚拟机,一旦出现内存泄漏和溢出方面的问题,如果不了...

2018-12-21 11:19:26

阅读数 19

评论数 0

Java NIO之Buffer

Buffer是固定大小的数据的容器,其作用是一个存储器,或者分段运输区,在这里数据可被存储并在之后用于检索。缓冲区的工作与通道紧密联系,待传递出去的数据被置于一个缓冲区,被传送到通道;待传回的缓冲区的传输,一个通道将数据放置在所提供的缓冲区中。这种在协同对象之间进行的缓冲区数据传递是高效数据处理的...

2018-12-20 11:06:03

阅读数 18

评论数 0

Java开发学习--MongoDB

之前只学过sql,第一次使用非关系型数据库。以前对于关系型数据库与非关系型数据库的概念很模糊,通过这次的学习对这两者有了一个清晰的概念。 主键 在MongoDB中,主键名叫"_id",如果在生成数据的时候,用户不主动为其分配一个主键的话,MongoDB会自动...

2018-12-19 11:33:21

阅读数 28

评论数 0

深入理解Java8 Lambda表达式

一、Lambda表达式是什么? Lambda表达式有两个特点:一是匿名函数;二是可传递。 匿名函数的应用场景是: 通常在需要一个函数,但又不想费神去命名一个函数的场合下使用。Lambda表达式所表示的匿名函数的内容应该是很简单的,如果复杂的话,干脆就去重新定义一个函数了。 可传递的应用场景...

2018-12-18 11:23:54

阅读数 37

评论数 0

Hadoop运行在Kubernetes平台实践

Hadoop与Kubernetes就好像江湖里的两大绝世高手,一个是成名已久的长者,至今仍然名声远扬,一个则是初出茅庐的青涩少年,骨骼惊奇,不走寻常路,一出手便惊诧了整个武林。Hadoop与Kubernetes之间有很深的渊源,因为都出自IT豪门——Google,只不过,后者是亲儿子,正因为有大佬...

2018-12-17 11:07:36

阅读数 88

评论数 0

Java语言快速实现简单MQ消息队列服务

使用 JAVA 语言自己动手来写一个MQ (类似ActiveMQ,RabbitMQ) 主要角色 首先我们必须需要搞明白 MQ (消息队列) 中的三个基本角色 Producer Broker Consumer 整体架构如下所示 自定义协议 首先从上一篇中介绍了协议的相关信息,...

2018-12-16 11:46:39

阅读数 971

评论数 1

Java 内存模型

一、Java内存模型 硬件处理 电脑硬件,我们知道有用于计算的cpu、辅助运算的内存、以及硬盘还有进行数据传输的数据总线。在程序执行中很多都是内存计算,cpu为了更快的进行计算会有高速缓存,最后同步至主内存,大概的交互如下图 为了使处理器内部的运算单元能够被充分的利用,处理器可能会对输入...

2018-12-14 11:36:46

阅读数 28

评论数 0

架构师必备,带你弄清混乱的JAVA日志体系

引言 还在为弄不清 commons-logging-xx.jar 、 log4j-xx.jar 、 sl4j-api-xx.jar 等日志框架之间复杂的关系而感到烦恼吗? 还在为如何统一系统的日志输出而感到不知所措嘛? 您是否依然存在这样的烦恼。比如,要更改spring的日志输出为log4j...

2018-12-13 11:14:11

阅读数 64

评论数 0

zookeeper收尾+dubbo前瞻

zookeeper是一个开源的分布式协调框架:数据发布订阅,负载均衡,集群,master选举。 原子性:要么同时成功,要么同是失败(分布式事务) 单一视图:无论客户端连接到哪个服务器,所看到的模型都是一样的 可靠性:一旦服务器端提交了一个事务并且获得了服务器端返回成功的标识,那么这个事务所引...

2018-12-12 11:13:09

阅读数 19

评论数 0

SpringCloud组件:Eureka高可用集群部署

高可用集群部署 Eureka 服务注册中心。 构建项目 使用 idea 开发工具创建一个 SpringBoot 项目,添加 Eureka Server 依赖即可, pom.xml 配置文件如下所示: ...... <parent> &am...

2018-12-11 11:38:04

阅读数 90

评论数 0

Docker与自动化测试及其测试实践

  Docker 与自动化测试 对于重复枯燥的手动测试任务,可以考虑将其进行自动化改造。自动化的成本在于自动化程序的编写和维护,而收益在于节省了手动执行用例的时间。简而言之,如果收益大于成本,测试任务就有价值自动化,否则受益的只是测试人员的自动化技能得到了提升。利用 Docker 的快速部署、...

2018-12-10 17:21:16

阅读数 59

评论数 0

ZooKeeper分布式锁简单实践

ZooKeeper分布式锁的实现原理 在分布式解决方案中,Zookeeper是一个分布式协调工具。当多个JVM客户端,同时在ZooKeeper上创建相同的一个临时节点,因为临时节点路径是保证唯一,只要谁能够创建节点成功,谁就能够获取到锁。没有创建成功节点,就会进行等待,当释放锁的时候,采用事...

2018-12-08 15:17:11

阅读数 34

评论数 0

Redis内存空间简单分析

背景 最近发现项目中用的 redis 内存消耗很大(但是印象中却以为没有这么多的key的内存消耗才对呀?),使用 info 命令可以看到所有key占用的一些内存大小以及key的数量等等,如下图所示(只截图了memory和keyspace部分): 可以发现, info 命令只能看到总的内...

2018-12-07 16:20:16

阅读数 15

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭