在线实时大数据平台Storm本地模式运行的一个小发现

1、现象:生产中分别部署了两台服务器,独立运行storm,然后拓扑程序提交是本地模式,发现不用启动storm和zookeeper也可以运行; 2、验证:在拓扑程序中增加参数传递,1代表本地模式,2代表集群模式      1)关闭集群后,传参1运行本地模式成功,传参2运行集群模式失败;     ...

2016-07-28 17:26:09

阅读数 2662

评论数 0

centos长ping输出日志的脚本

为监控某服务器的网络情况,制作一个sh脚本,记录ping的长过程,并输出日志以备观察。 1、脚本如下 cat /tmp/ping94.sh #!/bin/sh ping 10.121.82.94 -c 172800 | awk '{ print $0"\t" strft...

2016-07-28 09:16:24

阅读数 4883

评论数 0

Java解码网页表单post内容小记

对网页表单post提交的数据进行解码。一般编码是base64或application/x-www-form-urlencoded类型,本文主要是针对这个实现。当然有很多是js加密的,就只能看怎么破解js中的加密算法了。还有如ContentType文件类型是text/octet纯二进制文件的,不知如...

2016-07-27 14:59:41

阅读数 2658

评论数 0

Java之URLEncoder和URLDecoder类使用小记

网页中的表单使用POST方法提交时,数据内容是application/x-www-form-urlencoded类型。 从普通字符串到编码到application/x-www-form-urlencoded类型,遵循如下规则:    1)字符"a"-"z"...

2016-07-27 10:27:31

阅读数 2068

评论数 0

(转载)四种常见的 POST 提交数据方式

转载地址:https://imququ.com/post/four-ways-to-post-data-in-http.html 四种常见的 POST 提交数据方式 文章目录 application/x-www-form-urlencodedmultipart/form-dataappl...

2016-07-26 16:08:02

阅读数 2350

评论数 0

Java工程中引用Base64编码解码小记

1)Base64编码解码包下载:http://commons.apache.org/proper/commons-codec/       下载commons-codec-1.9.jar里面有base64类org.apache.commons.codec.binary.Base64; 2)如果用...

2016-07-26 15:24:32

阅读数 8969

评论数 2

算法导论之B树

开宗明义,B树是为磁盘或其他直接存取辅助设备而设计的一种平衡查找树。一般设计的简单数据结构都是面向主存而设计的,主存读取速度快但容量小;而磁盘读取速度慢而容量大,于是针对磁盘而设计的数据结构就不同于为主存而设计的。就树结构上来说,红黑树的二叉性质和高深度适合主存,而B树正是应磁盘特点而设计的高级树...

2016-07-25 09:58:09

阅读数 2331

评论数 0

二叉查找树Java实现代码

二叉查找树(Binary Search Tree),或者是一颗空树,或者是具有下列性质的二叉树: 1、若它的左子树不空,则其左子树上的所有结点的值均小于它根结点的值; 2、若它的右子树不空,则其右子树上的所有结点的值均大于它根结点的值; 3、它的左、右子树也分别为二叉查找树。 实现代码如下...

2016-07-20 16:52:18

阅读数 3278

评论数 0

Java工程中使用Log4j小记

1、工程中引入log4j的jar包,可到http://logging.apache.org/log4j/1.2/download.html下载; 2、在src目录下配置log4j.properties文件,可到官网参考配置,这里简单配置了debug和error输出到文件,并按照日期分开。   ...

2016-07-20 11:11:26

阅读数 2883

评论数 0

最长公共子序列Java代码实现

最长公共子序列定义:两个或多个已知数列的子序列集合中最长的就是最长公共子序列。 比如数列A = “abcdef”和B = “adefcb”,那么两个数列的公共子序列集合有{”a","ab","abc","adef",等等},其...

2016-07-19 11:08:43

阅读数 9924

评论数 0

MapReduce基础开发context.write注意new text("")多出一列的问题

1、问题描述:在MapReduce中代码中,Map输出context.write(okey,new text("")),Reduce也是context.write(okey,new text(""))输出;        查询字符长度,发现多了一位,如果用...

2016-07-19 10:31:23

阅读数 5330

评论数 0

MapReduce基础开发之九JDBC连接Hive

1、eclipse建工程,引入$HIVE_HOME/lib的包和$Hadoop_HOME/lib的包(一般核心包就可以,具体根据开发需求),导出jar包(不带第三方jar);     这里是Hive2,代码如下: package com.hive; import java.sql.SQLEx...

2016-07-19 09:05:48

阅读数 2501

评论数 0

算法导论之平摊分析(动态表)

平摊分析,amortizedanalysis,对数据结构执行的所有操作的总和时间是油由求平均而得出,用来证明一系列操作中,通过对所有操作求平均代价,即时某一操作具有较大代价,但平均代价还是小的。导论中这个和平均情况分析不同,我自己到没感觉出不同,同样是求平均。Amortized,摊销之意,就是将把...

2016-07-18 09:52:37

阅读数 2924

评论数 0

MapReduce基础开发之八HDFS文件CRUD操作

HDFS文件操作的基础代码。 package com.hive; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java.io.File; import java.io.FileIn...

2016-07-15 14:45:46

阅读数 2075

评论数 0

哈夫曼编码(Huffman)Java实现代码简化版

这个网上发现的Huffuman编码Java实现在组织上相对简化,便于理解文件压缩过程:提取文件统计字符频度-根据字符频度创建huffman树-根据huffman树生成huffman可变字长无前缀编码-根据huffman编码对文件中的字符转化成二进制串-将huffman编码的二进制串(非固定8位,可...

2016-07-14 17:12:24

阅读数 5067

评论数 1

哈夫曼编码(Huffman)Java实现代码

网上找到的一个组Huffman编码Java实现代码,比较经典。 1、主类,压缩和解压 package cn.hm; import java.io.BufferedInputStream; import java.io.BufferedOutputStream; import java...

2016-07-14 17:00:50

阅读数 8256

评论数 0

Java字节码进制转换

在理解二进制和十进制、十六进制时发现的,作为后续参考保存! public class codeCon { /** * 字符串转换成十六进制值 * @param bin String 我们看到的要转换成十六进制的字符串 * @return */ ...

2016-07-14 16:18:41

阅读数 2107

评论数 0

在线实时大数据平台Storm版本兼容的问题

部署了storm1.0.1最新版,但原来生产的程序是storm0.8.2版本并在该版本环境中运行,直接将程序放到1.0.1环境中storm jar运行失败。 重构程序,引入storm-core-1.0.1.jar,替换storm-0.8.2.jar,代码中主要import中包头org.a...

2016-07-13 17:23:50

阅读数 3505

评论数 0

算法导论之贪心算法(Huffman编码和拟阵)

贪心算法,在解决最优化问题上,通过得到子问题的局部最优解来合成问题的一个解,以局部最优选择来输出一个全局最优解。 问题要用贪心算法来求解,需满足和动态规划一样的最优子结构特征,同时还需要再每个子问题最优解选择上具有贪心性质。所谓贪心性质,就是本来一个问题分成两个子问题求解,但现在只需要选择一个来求...

2016-07-13 16:19:38

阅读数 3124

评论数 0

在线实时大数据平台Storm开发之wordcount

可以在Eclipse下通过Maven引入storm-starter项目,这里直接将storm目录下lib中的jar包引入到工程中。 由于storm-core-1.0.1.jar中带有default.yaml,如果打包时带上会有提示重复配置文件的错误,所以打包时用export->JAR fil...

2016-07-12 12:09:15

阅读数 2235

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭