- 博客(8)
- 收藏
- 关注
转载 多线程使用SimpleDateFormat类抛出异常信息Java.lang.NumberFormatException: multiple points
在Spark使用SimpleDateFormat等类需要注意线程安全 Java.lang.NumberFormatException: multiple points 由于在多线程中调用全局变量SimpleDateFormat,才会时不时报multiple points异常,原因是Sim...
2017-02-25 12:20:00 258
转载 HBase使用记录
因为集群上以前搭建的是0.9.6版本的HBase,同时使用了Phonex,现在需要升级HBase到1.2.4版本。 将1.2.4版本的HBase部署到集群,配置完环境之后,停止0.9.6版本的HBase服务,重新启动1.2.4版本的HBase,所有节点HRegionServer服务启动后很快...
2017-01-24 09:20:00 83
转载 Spark里几个重要的概念及术语
学习Spark,有几个重要的术语需要弄清楚。 1. Application 用户在spark上构建的程序,包含了driver程序以及集群上的executors. 2. Driver Program 运行main函数并且创建SparkContext的程序。 客户端的应用...
2017-01-03 09:29:00 110
转载 MapReduce剖析笔记之一:从WordCount理解MapReduce的几个阶段
WordCount是一个入门的MapReduce程序(从src\examples\org\apache\hadoop\examples粘贴过来的): package org.apache.hadoop.examples;import java.io.IOException;import...
2016-12-30 09:22:00 78
转载 Spark学习记录——SparkContext类与SparkConf类
任何Spark程序的编写都是从SparkContext(或用Java编写时的JavaSparkContext)开始的。SparkContext的初始化需要一个SparkConf对象,后者包含了Spark集群配置的各种参数(比如主节点的URL)。 初始化后,我们便可用Spar...
2016-12-26 16:37:00 190
转载 simhash算法原理及实现
simhash是google用来处理海量文本去重的算法。 google出品,你懂的。 simhash最牛逼的一点就是将一个文档,最后转换成一个64位的字节,暂且称之为特征字,然后判断重复只需要判断他们的特征字的距离是不是<n(根据经验这个n一般取值为3),就可以判断两个文档是否相似。 ...
2016-12-09 17:06:00 211
转载 weblogic 部署问题记录
注意一: 应用 服 务 名 称 和 数 据 源 名 称 不 能 相 同。 转载于:https://my.oschina.net/noobdriver/blog/787425...
2016-11-14 14:18:00 121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人