大数据
文章平均质量分 65
不止思考
这个作者很懒,什么都没留下…
展开
-
Twitter Storm 使用笔记
1、发布storm程序需要使用到Maven Assembly plugin. 如果项目中有引用spring的多个包一起使用,那么就会在打包的后丢失部分jar,表现如下:Exception in thread "main" org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration原创 2012-11-02 13:30:27 · 2091 阅读 · 0 评论 -
Twitter Storm安装配置(单机版)笔记
本篇幅讲述Twitter Storm安装配置,也作为自己的笔记。storm的官方安装说明(e文):https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-clusterstorm的安装分为单机版和集群版,只是配置稍微有点区别,大致一样。要使用storm首先要安装以下工具:python、zookeeper、zeromq、原创 2012-11-02 13:32:47 · 15025 阅读 · 1 评论 -
Twitter Storm安装配置(集群)笔记
Twitter Storm的单机版安装配置已经在上一篇笔记中写的很清楚了:http://blog.csdn.net/jsjwk/article/details/8140456 本篇幅主要是讲述在单机版本的基础上扩展成为集群。集群中所有的机器都需要安装与单机版一样的所需工具软件:python、zookeeper、zeromq、jzmq、storm将上述工具安装单机版教程中所描原创 2012-11-15 12:47:59 · 7800 阅读 · 0 评论 -
storm中一个Bolt发emit多次相同类型消息
在storm中的Bolt中可以处理完成逻辑后,向后面的Blot继续发送消息。可以发送多个不同的消息,如:collector.emit("update-delivered-status",new Values(emailDeliverStatus));collector.emit("save-request",new Values(udsn));也可以同一个类型的消息发送多个不原创 2013-01-12 12:37:27 · 15847 阅读 · 2 评论 -
大数据之数据采集
大数据之数据采集大数据体系一般分为:数据采集、数据计算、数据服务、以及数据应用 几大层次。在数据采集层,主要分为 日志采集 和 数据源数据同步。日志采集根据产品的类型 又有可以分为: - 浏览器页面 的日志采集 - 客户端 的日志采集 浏览器页面采集: 主要是收集页面的 浏览日志(PV/UV等) 和 交互操作日志(操作事件)。这些日志的采集,一般是在页面上植入标...原创 2018-07-30 20:24:30 · 13301 阅读 · 0 评论 -
架构设计之「数据库从主备到主主的高可用方案」
在互联网项目中,当业务规模越来越大,数据越来越多,随之而来的就是数据库压力会越来越大。慢慢就会发现,数据库层可能已经成为了整个系统的关键点和性能瓶颈了,因此实现数据层的高可用就成为了我们项目中经常要解决的问题。本文我们就来聊一聊如何实现数据存储层的高可用方案。在保障数据层的高性能与高稳定方面,最容易想到的方式就是对数据进行分片、多份、冗余等,很多架构的本质其实也是基于这几点来实现的。这里先...原创 2018-09-27 19:21:24 · 3829 阅读 · 0 评论 -
从大数据技术变迁猜一猜AI人工智能的发展
目前大数据已经成为了各家互联网公司的核心资产和竞争力了,其实不仅是互联网公司,包括传统企业也拥有大量的数据,也想把这些数据发挥出作用。在这种环境下,大数据技术的重要性和火爆程度相信没有人去怀疑。而AI人工智能又是基于大数据技术基础上发展起来的,大数据技术已经很清晰了,但是AI目前还未成熟啊,所以本文就天马行空一下,从大数据的技术变迁历史中来找出一些端倪,猜一猜AI人工智能未来的发展。最...原创 2019-02-19 12:40:59 · 265 阅读 · 0 评论