架构师的成长之路的博客

QQ群:架构师的成长之路 (688324454)。博客github地址:https://github.com/csy512889371/learnDoc...

Maven在生成环境的使用及其配置说明

Maven使用nexus相关信息Mavennexus地址:http://192.168.210.185:8081/nexusRepositories仓库主要包含以下:Public RepositoriesGroup(组)包括了 Releases、Snapshots、3rd party、Centra...

2017-03-21 20:49:47

阅读数:470

评论数:0

haproxy实现hive的ha

1.概述 这篇博客是接着《高可用Hadoop平台》系列讲,本篇博客是为后面用 Hive 来做数据统计做准备的,介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具,下面我打算分以下流程来赘述: 环境准备集成并配置 Hive 工具使用 Java API 开发 Hive 代码...

2017-03-18 08:31:52

阅读数:143

评论数:0

Spark Streaming 中使用 zookeeper 保存 offset 并重用

在 Spark Streaming 中消费 Kafka 数据的时候,有两种方式分别是 1)基于 Receiver-based 的 createStream 方法和 2)Direct Approach (No Receivers) 方式的 createDirectStream 方法,详细的可以参考 ...

2017-03-17 20:15:28

阅读数:457

评论数:0

Spark Streaming事务处理彻底掌握

本篇文章主要从二个方面展开: 一、Exactly Once 二、输出不重复 事务: 银行转帐为例,A用户转账给B用户,B用户可能收到多笔钱,如何保证事务的一致性,也就是说事务输出,能够输出且只会输出一次,即A只转一次,B只收一次。 从事务视角解密SparkStream...

2017-03-17 20:04:47

阅读数:176

评论数:0

Kafka管理工具介绍

http://geeks.aretotally.in/spark-streaming-kafka-direct-api-store-offsets-in-zk/ Kafka内部提供了许多管理脚本,这些脚本都放在$KAFKA_HOME/bin目录下,而这些类的实现都是放在源码的kafka/c...

2017-03-17 19:44:05

阅读数:687

评论数:0

Spark磁盘空间满了

Spark使用一段时间后,发现磁盘空间没有了,尤其是运行SparkStreaming Spark streaming在不断的写日志,日志将磁盘撑满了。无论磁盘空间多大,都会撑破的。有时运行一个晚上,有时运行一个上午,磁盘写满了。 1、配置log最大的保存文件大小!!最多保存多少文件! 2、配置每一...

2017-03-17 19:33:00

阅读数:230

评论数:0

研发解决方案介绍-基于statsD+Graphite 智能监控解决方案

本文档适用人员:研发和运维员工提纲:监控平台要做到什么程度?为什么要自己做?几个通用技术问题绘图所依赖的数据如何收集?如何加工?如何存储?图形如何绘制,各种指标如何叠加?拓扑关系如何绘制?技术选型哲学最终选了statsd+graphite数据的采集数据存储的粒度天机的技术选型一,监控平台要做到什么...

2017-03-17 19:25:13

阅读数:1564

评论数:0

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们...

2017-03-17 19:02:03

阅读数:197

评论数:0

从零开始学习,Apache Spark源码走读(一)

摘要:自2013年6月进入Apache孵化器,Spark已经有来自25个组织的120多位开发者参与贡献。而在不久前,更成为了Apache软件基金会的顶级项目,当下已是知名Hadoop开发商Cloudera和MapR的新宠。 Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它...

2017-03-16 17:28:04

阅读数:132

评论数:0

Oracle 12C RAC 安装笔记

记录了oracle 12C RAC 安装过程 文档下载地址 http://pan.baidu.com/s/1jI7dBBg

2017-03-16 11:44:24

阅读数:434

评论数:0

Hibernate动态查询

结合freemarker 实现hibernate动态查询

2017-03-16 09:53:18

阅读数:900

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭