排序:
默认
按更新时间
按访问量
RSS订阅

spark streaming程序因集群kafka版本不一致造成ZkUtils类无法更新offset解决方案

问题: 因为CDH集群环境问题,我spark streaming程序的依赖就依照其版本来进行,但这就遇到一个问题,集群spark2支持的kafka版本是0.9.0,而我们程序操作zookeeper的ZkUtils类就不兼容了。 解决方案: 重新KafkaCluster类,兼容集群版本。 原程序...

2017-06-30 14:18:05

阅读数 2401

评论数 0

基于Spark Streaming和Spark MLlib实现文本情感分析

前言: 文章主要是学习实验楼《使用Spark MLlib进行情感分析》课程后的总结,这里只简单说明,没有具体操作步骤。代码和操作步骤可去课程实践获得,也可在我的资源下载中找到(资源中除课程介绍的随机森林模型训练数据方法,我还加入了自己学习使用朴素贝叶斯模型训练数据的方法)。项目实际利用推特上的数据...

2017-01-22 16:33:26

阅读数 4427

评论数 0

分组Top N问题(二) - Hadoop MapReduce实现

前言: 在Hadoop中,排序是MapReduce的灵魂,MapTask和ReduceTask均会对数据按Key排序,这个操作是MR框架的默认行为,不管你的业务逻辑上是否需要这一操作。 技术点: MapReduce框架中,用到的排序主要有两种:快速排序和基于堆实现的优先级队列(PriorityQu...

2016-11-25 16:23:07

阅读数 4461

评论数 3

hive常用UDF and UDTF函数介绍-lateral view explode()

前言: Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。这里只大概说下Hive常用到的UDF函数,全面详细介绍推荐官网wiki:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF。 定...

2016-11-23 14:13:06

阅读数 8637

评论数 0

分布式延迟消息队列实现分析与设计

延迟队列,顾名思义它是一种带有延迟功能的消息队列。 那么,是在什么场景下我才需要这样的队列呢? 很多时候我们会有延时处理一个任务的需求,比如说: 2个小时后给用户发送短信。 15分钟后关闭网络连接。 2分钟后再次尝试回调。 下面我们来分别探讨一下几种实现方案: Java中的DelayQueue...

2016-09-29 17:35:37

阅读数 6614

评论数 0

微服务要素-十二要素(The Twelve Factors)

如今,软件通常会作为一种服务来交付,它们被称为网络应用程序,或“软件即服务”(SaaS)。“十二要素应用程序”(12-Factor App)为构建如下的SaaS应用提供了方法论: 将开发环境和生产环境的差异降至最低,并使用持续交付实施敏捷开发;这套理论适用于任意语言和后端服务(数据库、消息队列、缓...

2016-09-14 11:45:57

阅读数 11226

评论数 1

微服务应用-基于Spring Cloud和Reactor构建网上商店微服务(下)

上篇主要是讲解理论知识和项目架构要点,这篇将集中在微服务中使用Spring Boot、Spring Cloud和Project Reactor实现事件溯源的原始主题。文章中也会介绍项目实现一些技术细节,项目Git下载地址:https://github.com/kbastani/spring-clo...

2016-08-02 23:20:08

阅读数 8538

评论数 9

微服务应用-基于Spring Cloud和Reactor构建网上商店微服务(上)

和之前的开源社区项目:基于Spring Cloud和Docker构建电影推荐微服务(spring-cloud-microservice-example)一样,这次翻译的是基于Spring Cloud和Reactor实现Event Sourcing事件溯源构建网上商店微服务(spring-cloud...

2016-08-02 18:53:36

阅读数 13952

评论数 1

微服务应用-基于Spring Cloud和Docker构建电影推荐微服务

最近为了扩展自己对云应用的理解,找了好多基于Spring Cloud的demo,下面推荐两个开源社区项目:spring-cloud-microservice-example(基于Spring Cloud和Docker构建电影推荐微服务)和spring-cloud-event-sourcing-ex...

2016-07-27 18:46:34

阅读数 12842

评论数 1

基于Spring Boot和Spring Cloud实现微服务架构学习(六)-Docker应用

基于Spring Boot和Spring Cloud框架开发的微服务架构学习(六)-Docker应用 下面就介绍如何将之前的Spring Boot项目部署在Docker上,首先,在应用根目录下建立 Dockerfile 文件,以使用 Maven 构建为例,选用 maven:3.3.3 官方镜像,官...

2016-07-24 23:11:19

阅读数 10675

评论数 1

基于Spring Boot和Spring Cloud实现微服务架构学习(五)-Docker总结

基于Spring Boot和Spring Cloud框架开发的微服务架构学习(五)-Docker总结介绍 Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不...

2016-07-24 22:44:37

阅读数 11841

评论数 0

基于Spring Boot和Spring Cloud实现微服务架构学习(四)-Spring Cloud总结

基于Spring Boot和Spring Cloud框架开发的微服务架构学习(四)-Spring Cloud总结 Spring Cloud包含了多个子项目(针对分布式系统中涉及的多个不同开源产品),之前在第一章节也介绍这些,比如:Spring Cloud Config、Spring Cloud N...

2016-07-24 00:48:50

阅读数 103518

评论数 9

基于Spring Boot和Spring Cloud实现微服务架构学习(三)-Spring Boot应用

基于Spring Boot和Spring Cloud框架开发的微服务架构学习(三) 我们知道Spring Boot 是 Spring 产品中一个新的子项目,致力于简便快捷地搭建基于 Spring 的独立可运行的应用。大多数的 Spring Boot 应用只需要非常少的 Spring 配置,并且这些...

2016-07-21 22:32:29

阅读数 18807

评论数 2

基于Spring Boot和Spring Cloud实现微服务架构学习(二)-Spring Boot总结

基于Spring Boot和Spring Cloud框架开发的微服务架构学习(二) 对于Git、Docker容器技术,其与Spring Boot的关联度非常的高,大部分的应用都是托管在GitHub上,然后,因为Spring Boot开发的应用大多服务与微服务架构,而这种架构通常依托与Docker实...

2016-07-19 22:57:11

阅读数 27620

评论数 6

基于Spring Boot和Spring Cloud实现微服务架构学习(一)-Spring框架介绍

基于Spring Boot和Spring Cloud框架开发的微服务架构学习(一)-Spring框架介绍总结 看了几周Spring相关框架的书籍和官方demo,是时候开始总结下这中间的学习感悟。 首先,最想说的是,当你要学习一套最新的技术时,官网的英文文档是学习的最佳渠道。因为网上流传的多数资料是...

2016-07-18 21:07:00

阅读数 78625

评论数 14

使用单态(Singleton)模式获取数据库操作对象

开始先介绍下单态模式,也就是单例模式,我们主要区别于Spring中的原型模式,单例模式就是保证一个类只存在一个实例,就是只初始化一次,第一次完成初始化以后,重复使用的时候,返回的都是这个实例,而且不是重新去new一个新的,这就在DAO层中比较常见,我们定义一个工厂类(seesionFactory)...

2015-01-01 15:26:37

阅读数 1304

评论数 0

代替MD5加密的SHA安全散列加密算法代码整理

根据以往的经验,我们通常使用MD5加密算法,尽管其可以破解,但因其周期性比较长,所以我也一直在使用,今天学习到了一种新的加密算法,安全哈希算法,确切的说他并不是数据加密算法,而是数据数字签名算法,它不是对整个数据进行加密,而是对数据提取部分信息进行签名,采用该算法对不同的数据进行加密,会得到唯一的...

2015-01-01 15:05:02

阅读数 1528

评论数 0

学《云计算应用开发实践》总结<三>

前几章将有特点的公有云计算平台都介绍了一下,这里费下嘴,不是说只有这些云平台,实际上有很大,到现在Bat、360等都得云计算平台有涉及,方向、功能大体相似,我们常用的网盘算是其中之一。通过前面云计算的介绍,云计算相关的虚拟化、并行计算、主机管理等技术,我们也积累很多东西,现在就开始应用到实践中。

2014-12-31 21:40:29

阅读数 2039

评论数 0

学《云计算应用开发实践》总结<二>

通过前两章的学习,大体了解了云计算,虽然有些内容并不是很了解,包括JMeter、JConsole的使用,ISF虚拟化平台搭建,Tomcat负载均衡器的配置都没有写文章单独介绍,下一步我会逐个补充上,谈到JConsole,好巧不巧,这几天在看的《HotSpot实战》中就提到了它,由JMX模块提供对外...

2014-12-30 20:48:20

阅读数 2044

评论数 0

话说大数据和云计算之间的区别之处

学习了很久的hadoop和一些分布式应用,竟还没有正确理解大数据和云计算的区别,这里做个规整,也发现对于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说,分别做一句话直白解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。   虽然上面的一句话解释不是非常的贴切,但是可...

2014-12-29 21:32:54

阅读数 2586

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭