Hadoop 2.8.0集群环境搭建_HDFS阶段

围绕Hadoop而形成的生态圈中Hadoop扮演了重要的角色,学习大数据Hadoop自然是必经之路,本节基于Hadoop官方文档简述Hadoop 集群环境的搭建,单机版,伪分布式可自行参考文档.建议准备至少五台物理机或者虚拟机,且能够互相通信.在此之前建议不熟悉网络防火墙的朋友自行关闭防火墙,避免...

2017-03-30 21:21:14

阅读数 647

评论数 0

Zookeeper 集群环境搭建

参考官方文档,基于ZK3.4.9  ,JDK1.8, CENTOS 7 下载ZK 安装包,http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz   推荐迅雷下载集群环境,准备至少三台的奇数个CentOS主...

2017-03-28 07:45:27

阅读数 266

评论数 0

Spark + Kafka 集成 指南

最近在考虑Spark在消费Kafka 分区数据的过程中究竟反生了什么? 因为比较疑惑现有系统架构会不会遭遇这方面的瓶颈,遂决定去搞一把,一探究竟. 参考:Spark  API章节 http://spark.apache.org/docs/1.5.0/streaming-kafka-integra...

2017-03-19 13:44:54

阅读数 3950

评论数 0

Spring Boot Admin UI 分布式微服务监控中心

完整的微服务解决方案应该包含了微服务所涉及的方方面面,从服务的集中式配置,注册中心,断路器,负载均衡,监控 等模块之后面临的一个问题是如何直观的将微服务集群中的各个服务的状态显示给对"CODE"没有感觉的用户来使用.这当让是生产环境中所必要的,尤其对运维人员来说. 幸运的是S...

2017-03-19 08:34:56

阅读数 25984

评论数 0

Spring Cloud 断路器Hystrix实战

微服务架构中,因分布式环境引起的请求状态通常包含如下三种 成功失败超时 对于单机系统来说可以很容易的做到快速失败,这是没有问题的,对于分布式环境而言由于网络的不可靠性而导致的请求状态不确定的情况成为必然,我们不能容忍一个无限阻塞的现线程甚哪怕超过1S也不允许我们更愿意看到它快速失败. 基...

2017-03-18 15:44:56

阅读数 4435

评论数 0

Spring Cloud 基于eureka 服务注册中心

netflix 下开源组件eureka 提供了微服务注册和发现的解决方案,Spring整合了netflix 下若干组件用于快速构建微服务集群.本节围绕eureka  展开,举例示意使用eureka实现微服务注册和发现的基本操作. 服务注册中心,基于eureka-server 提供,Spring...

2017-03-16 20:06:27

阅读数 1707

评论数 0

Spring Boot +Spring AOP 可插拔式日志思路

Spring 基于IOC容器管理Bean的方式,使得其有能力对IOC容器中的所有Bean进行无限可能的操作,Spring AOP是基于 IOC容器的高级特性,借助与AOP能实现一些可插拔模块,而不影响原有系统的设计.         本节结合Spring Boot 在一个已有的Web项目中使用AO...

2017-03-15 07:57:13

阅读数 7010

评论数 0

Java Jar冲突解决

jar冲突场景: 不同版本间的弱依赖,不同组件依赖同一个jar的不同版本, 其中一个版本即可, 一般发生在一些向下兼容的类库中,通常情况下可以解决问题. 不同版本间的强依赖关系,不同组件强依赖与两同一个jar的不同版本,由于版本跨度过大,导致高版本的jar并不兼容低版本中的方法,不能通过 来解...

2017-03-11 16:30:40

阅读数 1426

评论数 0

SpringBoot +SpringCloud微服务示例,整合FreeMaker,AngularJS

SpringBoot +SpringCloud为服服务示例,整合FreeMaker,AngularJS 干货一篇,本节以SpringBoot + SpringCloud为例 构建轻量级微服务,旨在推荐一种更加敏捷的开发流程,本篇暂不会提及相关概念,皆以代码示意. GIT:https://gith...

2017-03-05 16:27:02

阅读数 14894

评论数 4

记,一段优雅的程序

编程的小道上,我们都在不断的探索和学习,这将是一条曲折的小道,毕竟天才属于少数.  写一段优雅的代码,献给可爱的猿们. 序:一直都很喜欢优雅的代码,也见过一些糟糕的代码,把编程当作一种享受,一种极致的追求,便能写出现阶段属于自己的优雅的代码. 从提一个简单的需求开始:现阶段需要实现一个同步Redi...

2017-03-30 19:25:07

阅读数 330

评论数 0

FASTDFS 分布式文件系统 入门

FASTDFS,开源轻量级分布式文件系统 开源轻量级分布式文件系统大量数据存储及负载均衡不对文件进行分块存储适合4KB-500M范围内的小文件 集群架构 架构图 架构角色说明 tracker server ,调度服务,做均衡,记录存储组及存储服务状态信息,数据交互...

2017-03-22 20:56:08

阅读数 428

评论数 0

基于交通数据的可达性分析

业务场景:交通流中车辆的行驶轨迹可以用来描述城市交通网中某两点间的可达性.该例以城市治安卡口过车数据为依据,进行数据清洗和处理,形成整个城市交通网治安卡点间的可达性矩阵,基于此可进行进一步的城市交通状态分析.   处理流程: Hadoop:处理原始过车数据,形成以单个车辆时间序列顺序生成的数...

2017-03-11 20:30:01

阅读数 4095

评论数 0

Hadoop 移动平均在交通流量中的应用

业务场景:交通网中存在大量的实时和历史过车数据,应用历史过车数据的均衡变化评价某个点位,某个时刻的瞬时交通流有很大的意义,基于流量变化趋势能分析出城市交通行车高峰期等特性. 移动平均: 详细描述见: http://wiki.mbalib.com/wiki/%E7%A7%BB%E5%8A%A8%E5...

2017-03-04 11:21:48

阅读数 429

评论数 0

Hadoop TOPN 实现

业务场景:大数据的挖掘的形式多种多样,即便是最基本的数据大处理技术,也应该关注全部数据而不是局部或者部分,以TOPN(排序取顶部N项目数据)为例,对全批量数据进行统计技术并筛选目标数据. 数据格式:          VERSION=1.0,PASSTIME=2016-11-3000:00:3...

2017-03-01 19:14:04

阅读数 977

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭