Storm部分
道法—自然
不积跬步,无以至千里;不积小流,无以成江海。——荀子
展开
-
storm部分:storm的架构介绍
storm是并行计算的框架storm是一种有向无环的方式,并且是并行计算的方式,是一种实时的方式 flume:消息采集器kafka:消息队列storm异步实时处理请求:异步是指是有向无环的方式同步的话:需要借助于分布式远程服务 Storm的架构:Spolt负责推送数据Bolt负责处理数据topology负责分发策略local cl...原创 2018-08-28 21:49:01 · 899 阅读 · 0 评论 -
kafka部分:kafka的架构
原创 2018-08-30 10:24:38 · 246 阅读 · 0 评论 -
Storm部分:flume+kafka+spout
一、Kafka简介Kafka是一个分布式的消息队列系统(Message Queue)。官网:https://kafka.apache.org/kafka集群有多个Broker服务器组成,每个类型的消息被定义为topic。同一topic内部的消息按照一定的key和算法被分区(partition)存储在不同的Broker上。消息生产者producer和消费者consumer可以...原创 2018-08-30 10:25:05 · 188 阅读 · 0 评论 -
Storm部分:StormDRPC,Storm的远程调用
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * r...原创 2018-08-29 16:18:31 · 544 阅读 · 0 评论 -
Storm部分:Storm的容错机制
Storm 的容错机制包括架构容错和数据容错。1)架构容错:Nimbus 和 Supervisor 进程被设计成快速失败(fail fast)的(当遇到异常的情况,进程就会挂掉)并且是无状态的(状态都保存在 Zookeeper 或者在磁盘上)。最重要的是,worker 进程不会因为 Nimbus 或者 Supervisor 挂掉而受影响。这跟Hadoop 是不一样的,当...原创 2018-08-29 11:22:23 · 1011 阅读 · 0 评论 -
Storm部分:Storm提交文件报错【bug调优】
错误描述:Exception in thread "main" java.lang.UnsupportedClassVersionError: com/bjsxt/storm/TP : Unsupported major.minor version 52.0 at java.lang.ClassLoader.defineClass1(Native Method) at java...原创 2018-08-29 10:57:30 · 457 阅读 · 0 评论 -
Storm部分:storm中进程、线程、任务
worker process:进程executor:线程task:任务一个进程、两个线程、四个任务 两个进程、八个线程、十个任务。两个线程分配四个任务,一个线程分配两个任务。--------------------------------------------------------------------------------------------...原创 2018-08-29 10:50:32 · 1067 阅读 · 0 评论 -
Storm部分:storm集群的安装、配置、启动
三、完全分布式安装部署各节点分配: Nimbus Supervisor Zookeepernode1 1 1node2 1 1node3 1 1node1作为nimbus,开始配置$ vim ...原创 2018-08-29 10:34:02 · 217 阅读 · 0 评论 -
Storm部分:storm单机节点集群的安装、配置、使用
二、单机模式上传解压$ tar xf apache-storm-0.9.4.tar.gz $ cd apache-storm-0.9.4$ storm安装目录下创建log: mkdir logs$ ./bin/storm --help下面分别启动ZooKeeper、Nimbus、UI、supervisor、logviewer$ ./bin/storm dev-zookeeper...原创 2018-08-29 09:42:48 · 567 阅读 · 0 评论 -
Storm部分:storm的运行环境要求
JDK 1.6+java -versionPython 2.6.6+python -VZooKeeper3.4.5+storm 0.9.4+原创 2018-08-29 09:21:35 · 633 阅读 · 0 评论 -
Storm部分:storm任务提交的流程,storm本地目录树,storm zookeeper组件
Storm组件本地目录树 Storm zookeeper目录树 Storm任务提交的过程原创 2018-08-29 08:13:35 · 288 阅读 · 0 评论 -
Storm部分:storm的架构设计
原创 2018-08-29 08:10:27 · 326 阅读 · 0 评论 -
Storm部分:处理文件数据
Spolt部分代码:package com.sxt.storm.grouping;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.InputStreamReader;import java.util.Map;import backtype.storm.spout.SpoutO...原创 2018-08-29 00:00:35 · 714 阅读 · 0 评论 -
Storm部分:Storm Grouping -- 数据流分组(即数据分发策略)
1. Shuffle Grouping 随机分组,随机派发stream里面的tuple,保证每个bolt task接收到的tuple数目大致相同。轮询,平均分配 2. Fields Grouping按字段分组,比如,按"user-id"这个字段来分组,那么具有同样"user-id"的 tuple 会被分到相同的Bolt里的一个task, 而不同的"user-id"则可能会被分配到不同的...原创 2018-08-28 23:46:55 · 526 阅读 · 0 评论 -
Storm部分:storm的事务,storm部分的项目
Storm事务基本原理分为三个阶段:第一阶段:每一个tuple都有一个tid,一直到数据库,仅当第一个执行完之后才会执行第二个第二阶段:每批次给一个tid,一批次一批次的执行,按批次提交,按批次提交效率较高如果当前的事务没有提交到数据库,后边的就不允许处理缺点是造成了资源的浪费,相当于hadoop中的federation情况第三阶段:多个节点并行,但...原创 2018-08-30 10:23:38 · 188 阅读 · 0 评论