![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Storm
GXU-数据与网络实验室
这个作者很懒,什么都没留下…
展开
-
Apache Storm 官方文档 —— Trident 教程 原文链接 译者:魏勇 Trident 是 Storm 的一种高度抽象的实时计算模型,它可以将高吞吐量(每秒百万级)数据输入、有状
Apache Storm 官方文档 —— Trident 教程 Trident 是 Storm 的一种高度抽象的实时计算模型,它可以将高吞吐量(每秒百万级)数据输入、有状态的流式处理与低延时的分布式查询无缝结合起来。如果你了解 Pig 或者 Cascading 这样的高级批处理工具,你就会发现他们和 Trident 的概念非常相似。Trident 同样有联结(join)、聚合(aggre转载 2017-09-09 22:56:37 · 301 阅读 · 0 评论 -
在Ubuntu上创建maven工程,编译器里一直不能正常使用maven工程
在Ubuntu上创建maven工程,编译器里一直不能正常使用maven工程,原来犯了个低级错误。没有检查到本地的maven环境已经失效。 去网上下载maven安装包,安装并配置mave_home后。 在编译器里仍然又问题,将编译器下载的包全部删掉,reimport本地maven仓库后解决。...原创 2018-03-28 16:50:42 · 394 阅读 · 0 评论 -
Hadoop,Hbase分布式集群配置手册
在网上搜集了各种配置,经常会出错,现在把自己已经成功配置处理来的一份配置晒出来。 1.伪分布式配置手册 hadoop-2.6.0 habase-2.2.6 hadoop中的部分配置 core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" hre...原创 2018-03-28 16:44:10 · 167 阅读 · 0 评论 -
win7下的storm代码移植到Ubuntu系统上,出现了报错 java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializer
java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializer at org.apache.storm.serialization.KryoValuesSerializer.<init>(KryoValuesSerializer.java:33) ~[storm-core-1.1.1.jar:1.1.1] at ...原创 2018-03-28 13:16:01 · 6056 阅读 · 1 评论 -
Ubuntu下的IDEA编辑器,创建maven工程后,jar包已经下载,但是在代码中不导入
Ubuntu下的IDEA编辑器,创建maven工程后,jar包已经下载,但是在代码中不导入 如图右侧所述,导致代码中产生了很多错误。 就算用手动导入包,仍然不能运行。 后多方查阅子类,发现一个解决方法。 第一步,找到本地maven仓库地址。 第二步,通过命令进入maven仓库,删掉已经导入的依赖包。 第三步,reimport pom.xml文件中的依赖包。 第四步,进入代码,发现...原创 2018-03-28 11:40:15 · 290 阅读 · 0 评论 -
storm-0.9.3配置信息
# Licensed to the Apache Software Foundation (ASF) under one # or more contributor license agreements. See the NOTICE file # distributed with this work for additional information # regarding copyrigh...原创 2018-03-30 14:24:01 · 170 阅读 · 0 评论 -
storm 1.1.1配置信息
注意空格位置,不能多也不能少 storm.zookeeper.servers: - "h1" - "h2" - "h3" nimbus.seeds: ["h1"] # # # ##### These may optionally be filled in: # ## List of custom serializations # ...原创 2018-03-30 14:23:03 · 185 阅读 · 0 评论 -
zookeeper配置信息记录
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # s...原创 2018-03-30 14:20:58 · 186 阅读 · 0 评论 -
启动maven工程遇到java.util.zip.ZipError: invalid CEN header (bad signature)
启动maven工程遇到java.util.zip.ZipError: invalid CEN header (bad signature)报错,当然下面还会有其他报错内容 这种问题是由于本地的jar包出现损坏,我的做法是将C:\Users\YN.m2\repository下仓库里的包全部删掉,打开eclipse让其自动下载,过了漫长的一晚上重新建立本地仓库后,第二天早上起来正常运行程序。...原创 2018-03-30 10:20:04 · 3747 阅读 · 0 评论 -
Storm0.9.3启动后关于参数问题的报错
启动storm后,如果发现报错如下,或者有类似的错误提示:Exception in thread "main" expected '<document start>', but found BlockMappingStart in 'reader', line 43, column 1:是说明参数有错误,在配置文件的43行第1列。原因是因为storm 0.9.3(其他版本或许相同,未做考证)版本原创 2017-10-12 22:31:38 · 287 阅读 · 0 评论 -
linux中profile对常用的软件的路径配置
linux中profile对常用的软件的路径配置(记录)export JAVA_HOME=/opt/java export PATH=$PATH:$JAVA_HOME/binexport ZK_HOME=/opt/zookeeper export PATH=$PATH:$ZK_HOME/binexport STORM_HOME=/opt/apache-storm-1.1.1 export PATH=原创 2017-10-05 20:42:00 · 698 阅读 · 0 评论 -
storm-hbase集成:win7下用eclipse开发ubuntu上的storm-hbase程序
平时任务实在比较忙,只能先记录简单步骤,后续再写详细说明。 win7下eclipse中开发统一局域网内hbase程序简单操作步骤 win7下管理统一局域网内的集群 1.3台ubuntu服务器作为实验机器,一台win7作为管理机器,网线都在同一个交换机上。 2.3台主机关闭防火墙,并开通ssh服务。 3.在win7上安装xshell 用来进行命令操作3台主机。安装winscp来进行...原创 2017-10-07 14:56:03 · 498 阅读 · 0 评论 -
DRS:一个开源的STORM系统,用于负载动态调整
DRS:一个开源的STORM系统,用于负载动态调整https://github.com/fuzhengjia/ton-storm-09-drs/blob/master/src/main/java/topology/DectationTopology.java先放上项目地址,项目的内容及使用说明同步更新。 https://github.com/fuzhengjia/ton-storm-09-drs/...原创 2019-04-22 15:29:28 · 262 阅读 · 0 评论