2018年09月_learn_tech

转载关于storm中某一段时间内topN的计算入门

转载地址：https://www.cnblogs.com/zguood/p/4528195.html刚刚接触storm 对于滑动窗口的topN复杂模型有一些不理解，通过阅读其他的博客发现有两篇关于topN的非滑动窗口的介绍。然后转载过来。下面是第一种：Storm的另一种常见模式是对流式数据进行所谓“streaming top N”的计算，它的特点是持续的在内存中按照某个统计指标（如出现...

2018-09-30 15:24:00 421

转载 Hadoop API 使用介绍

转载地址：https://blog.csdn.net/wt346326775/article/details/53301117Hadoop API被分成（divide into）如下几种主要的包（package）org.apache.hadoop.conf 定义了系统参数的配置文件处理API。org.apache.hadoop.fs 定义了抽象的文件系统API...

2018-09-30 11:34:28 4666

转载深入理解Java并发之synchronized实现原理

转载地址：https://blog.csdn.net/javazejian/article/details/72828483关联文章：深入理解Java类型信息(Class对象)与反射机制深入理解Java枚举类型(enum)深入理解Java注解类型(@Annotation)深入理解Java类加载器(ClassLoader)深入理解Java并发之synchronized实现原理...

2018-09-30 11:34:11 528

转载利用storm个性化存储hdfs（更改storm-hdfs插件源码）

转载地址：https://blog.csdn.net/weixin_40209426/article/details/81220313在项目过程中，有这样一个需求，需要用storm消费实时流日志，存储hdfs，如果伙伴们要是抱着自己开发存储的心态去做，可能会耗费一定的开发周期,比较不划算，因为官方做了一个storm-hdfs的开发包供storm使用者轻松开发storm程序存储hdfs，但是这个...

2018-09-28 11:46:31 230

转载简单易接入的Zookeeper

转载地址：https://blog.csdn.net/xiangxizhishi/article/details/76563728 众所周知，分布式的系统协作服务很难有让人满意的产品。这些协作服务产品很容易陷入一些诸如竞争选择条件或者死锁的陷阱中。那Zookeeper又是怎么解决这个问题的呢？ Zookeeper提供了一些简单的操作，使得分布式应用可以基于这些接口实现诸如同步、配置...

2018-09-14 14:38:43 265

转载分布式服务管理框架-Zookeeper客户端zkCli.sh使用详解

原文链接：http://blog.csdn.net/xyang81/article/details/53053642 https://blog.csdn.net/dandandeshangni/article/details/80558383在学习zookeeper（下面简称zk）客户端之前，有必要先了解一下zk的数据模型。zk维护着一个逻辑上的树形层次结构...

2018-09-12 16:31:12 826

转载 kafka与storm集成测试问题小结

转载地址：https://blog.csdn.net/shj1119/article/details/488266191 拷贝kafka依赖jar包到storm lib[root@hdmaster libs]# cp kafka_2.10-0.8.2.1.jar /opt/apache-storm-0.9.5/lib/[root@hdmaster libs]# cp scala-libra...

2018-09-12 16:04:52 362

转载 eclipse使用maven教程

转载地址：https://blog.csdn.net/u012052268/article/details/78916196目录0.什么是maven1.maven下载与安装与配置1.1 下载1.2 安装1.3 配置环境变量2.在eclipse中配置2.1 m2eclipse安装2.2 配置eclipse3 创建一个maven项目3.1项目的结构3.2...

2018-09-07 09:49:41 20967 3

转载 maven 编译时跳过单元测试

转载地址：https://blog.csdn.net/u012899746/article/details/52312495方法一：pom文件添加如下配置：<plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifa...

2018-09-06 10:42:42 747

转载 maven报错Missing artifact jdk.tools:jdk.tools:jar:1.8解决方案

转载地址：https://blog.csdn.net/qy20115549/article/details/53004779在eclipse中，遇到了Missing artifact jdk.tools:jdk.tools:jar:1.8。其他也没有报错，感到很奇怪。原因：tools.jar包是JDK自带的，pom.xml中以来的包隐式依赖tools.jar包，而tools.jar并未...

2018-09-06 09:44:32 1242

转载 eclipse编译项目：Java @Override 注解报错的解决方法

转载地址：https://www.cnblogs.com/libra0920/p/6408891.html错误：在 eclipse 的新工作空间开发项目时，出现大面积方法编译错误。鼠标放在方法名上后显示让我们去掉 @override 注解，如图：原因：@Override 是 jdk5 引入的机制，但是不支持对接口的实现。认为这不是 override 而报错，jdk6 及1.6以...

2018-09-04 10:55:18 616

转载 Cloudera的CDH和Apache的Hadoop的区别

转载地址：https://blog.csdn.net/Next__One/article/details/78592737 https://blog.csdn.net/do_what_you_can_do/article/details/53096854Cloudera的CDH和Apache的Hadoop的区别目前而言，不收费的Hadoop版本主要有三...

2018-09-03 09:22:43 2647 1

learn_tech的博客