- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 基于IDEA构建Spark应用并部署
前言本章将介绍如何通过IDEA构建Spark应用，并最终部署。构建应用Java应用1、新建一个maven项目，并在POM中添加如下依赖：<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <java.version>1.8<...
2018-03-15 23:03:47
1033
原创 Win10安装使用Hadoop3.0.0
本章将一步一步在win10下安装Hadoop3.0.0，并启动服务进行简单的hdfs操作。准备工作1、Hadoop官方下载地址：http://hadoop.apache.org/releases.html选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载，建议采用专业的下载工具下载，速度更快2、将tar.gz包解压至D盘根目录：Note：必须用管理员权限解压3、配置环境变量:添加...
2018-03-15 22:45:48
39451
32
原创 Stable与PreSale版本同时在线的一些思考
最近部门在讨论代码流程管理，无论是采用标准的gitflow还是github的分支模型都无法规避一个话题，如何同步实现Stable和PreSale兼容的事宜，目前将采用fork项目、双主分支同步开发的双模式方案尝试，但仔细思考，以上两种方式在研发过程有一个共性，均需要我们类似的维护多项目，但又需要指定里程碑的MR操作。先不去想是否是最合适的，但有一种可能大家都不是那么在意的傻瓜方式，通过版本(开关)...
2018-03-11 22:04:15
470
原创 Spark在Win10下的环境搭建
前言本章将介绍如何在WIN10下实现spark环境搭建。本章概要1、版本说明2、环境准备：jdk配置；scala安装与配置；spark安装与配置；hadoop安装与配置；版本说明jdk：1.8scala：2.11.8spark：2.3.0hadoop：2.8.3环境准备jdk配置1、配置JAVA_HOME与Path：Path2、验证配置：scala安装与配置1、scala下载：访问官方地址http...
2018-03-08 10:15:06
39110
31
原创 Spring-Retry应用
前言spring retry是从spring batch独立出来的一个能功能，主要实现了重试和熔断。对于重试是有场景限制的，不是什么场景都适合重试，比如参数校验不合法、写操作等（要考虑写是否幂等）都不适合重试。远程调用超时、网络突然中断可以重试。在微服务治理框架中，通常都有自己的重试与超时配置，比如dubbo可以设置retries=1，timeout=500调用失败只重试1次，超过500ms调用仍...
2018-03-05 01:22:04
2900
原创 Guava-Retry实践
前言在实际业务中，有非常多场景需要我们进行重试操作，编码中通过采用各种回调的方式来抽象重试的实现，但都不是那么理想。通过简单的调研，目前主要有Guava-Retry和Spring-Retry作为三方库比较流行，本章节将介绍Guava-Retry的实际应用。Guave在github地址(https://github.com/rholder/guava-retrying)，可以看到其已经有很长一段时间...
2018-03-04 22:09:49
8533
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人