- 博客(14)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Hadoop 2.8.0集群环境搭建_HDFS阶段
围绕Hadoop而形成的生态圈中Hadoop扮演了重要的角色,学习大数据Hadoop自然是必经之路,本节基于Hadoop官方文档简述Hadoop 集群环境的搭建,单机版,伪分布式可自行参考文档.建议准备至少五台物理机或者虚拟机,且能够互相通信.在此之前建议不熟悉网络防火墙的朋友自行关闭防火墙,避免带来不必要的麻烦.自行安装JDK并配置PATH,JAVA_HOME等环境变量.
2017-03-30 21:21:14
819
原创 Zookeeper 集群环境搭建
参考官方文档,基于ZK3.4.9 ,JDK1.8, CENTOS 7下载ZK 安装包,http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz 推荐迅雷下载集群环境,准备至少三台的奇数个CentOS主机, 依据来源于ZK的ZAB协议,可查询相关资料论证.为保证集群一致性,强烈建议使用统一的host
2017-03-28 07:45:27
397
原创 Spark + Kafka 集成 指南
最近在考虑Spark在消费Kafka 分区数据的过程中究竟反生了什么? 因为比较疑惑现有系统架构会不会遭遇这方面的瓶颈,遂决定去搞一把,一探究竟.参考:Spark API章节 http://spark.apache.org/docs/1.5.0/streaming-kafka-integration.html 及 http://spark.apache.org/docs/1.5.0/
2017-03-19 13:44:54
4339
原创 Spring Boot Admin UI 分布式微服务监控中心
完整的微服务解决方案应该包含了微服务所涉及的方方面面,从服务的集中式配置,注册中心,断路器,负载均衡,监控 等模块之后面临的一个问题是如何直观的将微服务集群中的各个服务的状态显示给对"CODE"没有感觉的用户来使用.这当让是生产环境中所必要的,尤其对运维人员来说.幸运的是Spring Boot 生态链中已经实现了基本的微服务管理WEB UI,允许我们更直观的观察微服务的运行状态.该项目
2017-03-19 08:34:56
30763
1
原创 Spring Cloud 断路器Hystrix实战
微服务架构中,因分布式环境引起的请求状态通常包含如下三种成功失败超时对于单机系统来说可以很容易的做到快速失败,这是没有问题的,对于分布式环境而言由于网络的不可靠性而导致的请求状态不确定的情况成为必然,我们不能容忍一个无限阻塞的现线程甚哪怕超过1S也不允许我们更愿意看到它快速失败.基于以上简短的描述,微服务中可以引入断路器,来对分布式请求进行控制,进而实现上诉的快速失败,本节以Spr
2017-03-18 15:44:56
5774
原创 Spring Cloud 基于eureka 服务注册中心
netflix 下开源组件eureka 提供了微服务注册和发现的解决方案,Spring整合了netflix 下若干组件用于快速构建微服务集群.本节围绕eureka 展开,举例示意使用eureka实现微服务注册和发现的基本操作.服务注册中心,基于eureka-server 提供,Spring为其提供了简洁的服务管理界面.依赖如下: org.springframework.c
2017-03-16 20:06:27
1861
原创 Spring Boot +Spring AOP 可插拔式日志思路
Spring 基于IOC容器管理Bean的方式,使得其有能力对IOC容器中的所有Bean进行无限可能的操作,Spring AOP是基于 IOC容器的高级特性,借助与AOP能实现一些可插拔模块,而不影响原有系统的设计. 本节结合Spring Boot 在一个已有的Web项目中使用AOP提供一种后续的日志补救方案.更多关于IOC容器的概念请查询相关资源,附件中提供AOP学习的简要笔记
2017-03-15 07:57:13
8713
原创 Java Jar冲突解决
jar冲突场景:不同版本间的弱依赖,不同组件依赖同一个jar的不同版本, 其中一个版本即可, 一般发生在一些向下兼容的类库中,通常情况下可以解决问题.不同版本间的强依赖关系,不同组件强依赖与两同一个jar的不同版本,由于版本跨度过大,导致高版本的jar并不兼容低版本中的方法,不能通过 来解决冲突.对于第一种情况,毋庸置疑由于不同版本间兼容排除其它保留一个即可.对第二种情况而言就
2017-03-11 16:30:40
2167
原创 SpringBoot +SpringCloud微服务示例,整合FreeMaker,AngularJS
SpringBoot +SpringCloud为服服务示例,整合FreeMaker,AngularJS干货一篇,本节以SpringBoot + SpringCloud为例 构建轻量级微服务,旨在推荐一种更加敏捷的开发流程,本篇暂不会提及相关概念,皆以代码示意.GIT:https://github.com/poai/spring-cloud-zookeeper-demo.git关键技
2017-03-05 16:27:02
16704
4
原创 记,一段优雅的程序
编程的小道上,我们都在不断的探索和学习,这将是一条曲折的小道,毕竟天才属于少数. 写一段优雅的代码,献给可爱的猿们.序:一直都很喜欢优雅的代码,也见过一些糟糕的代码,把编程当作一种享受,一种极致的追求,便能写出现阶段属于自己的优雅的代码.从提一个简单的需求开始:现阶段需要实现一个同步Redis的小程序,当然有点经验的你自然不在话下,待我们一一道来.一个优雅的配置文件,如你所见,下
2017-03-30 19:25:07
440
原创 FASTDFS 分布式文件系统 入门
FASTDFS,开源轻量级分布式文件系统开源轻量级分布式文件系统大量数据存储及负载均衡不对文件进行分块存储适合4KB-500M范围内的小文件集群架构架构图架构角色说明tracker server ,调度服务,做均衡,记录存储组及存储服务状态信息,数据交互的纽带storage server,存储服务器,维护文件元数据及文件数据,利用OS文件系统调用管理文件
2017-03-22 20:56:08
569
原创 基于交通数据的可达性分析
业务场景:交通流中车辆的行驶轨迹可以用来描述城市交通网中某两点间的可达性.该例以城市治安卡口过车数据为依据,进行数据清洗和处理,形成整个城市交通网治安卡点间的可达性矩阵,基于此可进行进一步的城市交通状态分析. 处理流程:Hadoop:处理原始过车数据,形成以单个车辆时间序列顺序生成的数据流示例[(kkid1,1)(kkid2)…],该过程中需要对数据的合法性进行检查主要体现在排除A-A
2017-03-11 20:30:01
9628
原创 Hadoop 移动平均在交通流量中的应用
业务场景:交通网中存在大量的实时和历史过车数据,应用历史过车数据的均衡变化评价某个点位,某个时刻的瞬时交通流有很大的意义,基于流量变化趋势能分析出城市交通行车高峰期等特性.移动平均: 详细描述见:http://wiki.mbalib.com/wiki/%E7%A7%BB%E5%8A%A8%E5%B9%B3%E5%9D%87%E6%B3%95,以每分钟统计的交通流数据和每分钟以移动平均算
2017-03-04 11:21:48
884
原创 Hadoop TOPN 实现
业务场景:大数据的挖掘的形式多种多样,即便是最基本的数据大处理技术,也应该关注全部数据而不是局部或者部分,以TOPN(排序取顶部N项目数据)为例,对全批量数据进行统计技术并筛选目标数据.数据格式: VERSION=1.0,PASSTIME=2016-11-3000:00:39 000,CARSTATE=1,CARPLATE=无,PLATETYPE=99,SPEED=0,PL
2017-03-01 19:14:04
2439
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人