Storm
qq_21292551
这个作者很懒,什么都没留下…
展开
-
6.storm开发结合eclipse下的maven
1.现在的eclipse中集成了maven,先去apache下载maven,然后配置下环境变量2.在eclipse中设置下关联到本地的maven软件包路径3.新建项目,此时选择other找到maven的project,然后输入相关配置4.这里需要手动找到常用工作目录,不用打勾5.选择默认原创 2015-12-11 10:59:16 · 331 阅读 · 0 评论 -
4.storm中的拓扑示例(进程/线程/任务)
下面定义一个名为 mytopology 的拓扑,由一个 Spout 组件(BlueSpout)、两个 Bolt 组件 (GreenBolt 和 YellowBolt)共 3 个组件构成。Config conf = new Config(); conf.setNumWorkers(2); // 使用两个工作进程topologyBui原创 2015-12-11 10:57:02 · 557 阅读 · 0 评论 -
3.mac上的storm开发者环境的安装部署
storm的安装依赖 python、zookeeper等,因为mac下已经有python了,这里只需要安装storm和zookeeper即可;1、下载storm的release版本, 解压,并且把bin/目录加到环境变量PATH里面去。 vim /etc/profile #set storm原创 2015-12-11 10:56:07 · 611 阅读 · 0 评论 -
7.虚拟机搭建Storm"真"分布式环境心的得
搭建过程全过程拆分为:zookeeper搭建+storm搭建zookeeper搭建:参考zookeeper笔记中的分布式搭建(2.安装及配置介绍)+storm搭建:参考文中底部的拓展链接(3.mac上的开发者环境的安装部署)分别为主节点和子节点启动服务的简单脚本master.sh:#!/bin/bash# 启动mast原创 2015-12-11 11:00:03 · 656 阅读 · 0 评论 -
5. storm常用命令(客户端storm shell)
Commands:activate classpathdeactivatedev-zookeeper drpchelpjar killlistlocalconfvalue logviewernimbusrebalance remoteconfvaluereplshell supervisoruiversionHelp:helphe原创 2015-12-11 10:58:01 · 720 阅读 · 0 评论 -
1.storm入门简介
Storm是什么?Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。(全量|增量 硬盘|内存 离线|实时)随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Sto原创 2015-12-11 10:54:12 · 390 阅读 · 0 评论 -
8.storm中不同的流分组方式
packagebacktype.storm.topology;importbacktype.storm.generated.GlobalStreamId;importbacktype.storm.generated.Grouping;importbacktype.storm.grouping.CustomStreamGrouping;importback原创 2015-12-11 11:01:09 · 942 阅读 · 0 评论 -
2.storm原理和概念详述
Storm集群结构 1.Nimbus 和Supervisors 之间所有的协调工作是通过 一个Zookeeper 集群。2.Nimbus进程和 Supervisors 进程是无法直接连接和无状态的; 所有的状态维持在Zookeeper中或保存在本地磁盘上。这意味着你可以 kill -9 Nimbus 或Supervisors 进程,而不需要做备份。这种设计导致st原创 2015-12-11 10:55:17 · 416 阅读 · 0 评论 -
11.storm小项目反思
1.促使写了此篇的理解点:代码上:worker1节点上:worker2节点上:从上面三张图看出来topo的代码中prepare在各自进程开始调用,而两个节点产生了两个文件,说明nimbus给两个节点各自分发了一个jar包,开辟了jvm环境在各自的节点机器上执行,这是两个独立且联系的进程不要总是盯着主节点nimbus看运行情况什原创 2015-12-11 11:04:45 · 310 阅读 · 0 评论 -
10.整体了解storm:概念、组件、场景、代码实现
问题导读1.什么是storm?2.storm包含哪些组件?3.storm场景有哪些?简单和明了,Storm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。考虑到数据的生成量,实时处理成为转载 2015-12-11 11:02:56 · 648 阅读 · 0 评论 -
9.关于Strom on Yarn的问题
为什么要将storm运行在yarn上?如何将storm运行在yarn上?Strom on yarn需要注意哪些问题? 1. 背景知识(1)Storm:一个实时计算框架,与MapReduce离线计算框架互补,分别用于解决不同场景下的问题,Storm的官方网站是:http://storm-project.net/,如果想快速了解,推荐阅读淘宝的这篇文转载 2015-12-11 11:02:08 · 532 阅读 · 0 评论