![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
_萝卜_
一点点的努力
展开
-
jvm之内存分配与回收策略
下面是使用Serial/SerialOld收集器下(ParNew/SerialOld收集器组合的规则也基本一致)的内存分配和回收的策略对象优先在Eden分配1、大多数情况下,对象在新生代Eden区中分配。当Eden区没有足够空间进行分配时,虚拟机将发起一次MinorGC。2、执行GC后,将存活的对象分配到Survivor空间3、无法放到Survivor空间的对象,分配到老...翻译 2019-06-05 11:45:32 · 116 阅读 · 0 评论 -
Phoenix的安装、升级版本、以及使用,以及所遇到的问题
phoenix的安装 phoenix的编译 phoenix的使用 phoenix的问题 phoenix的使用 phoenix的全解, phoenix的吐血的详细原创 2017-12-11 14:35:55 · 3749 阅读 · 0 评论 -
java.lang.IllegalArgumentException: Tuple created with wrong number of fields. Expected 1 fields but
由于以前使用的storm是0.9.8版本的,新公司使用的版本是1.1.1版本的,在本地模式启动storm的时候报错如下:8747 [Thread-32-spout-executor[4 4]] ERROR o.a.s.util - Async loop died!java.lang.IllegalArgumentException: Tuple created with wrong num原创 2017-12-06 20:03:02 · 2170 阅读 · 0 评论 -
Spark任务提交jar包依赖解决方案(开发阶段多次上传jar包比较慢,怎么办?)
通常我们将spark任务编写后打包成jar包,使用spark-submit进行提交,因为spark是分布式任务,如果运行机器上没有对应的依赖jar文件就会报ClassNotFound的错误。但是在开发阶段需要多次尝试上传到集群进行测试,如果采用jar-with-dependencies的形式,每次jar包都很大,上传会需要等好久,怎么办?参照博主的Spark任务提交jar包依赖...原创 2019-06-05 11:42:51 · 1387 阅读 · 0 评论 -
spark读取hbase中的多张表,通过scan方式来筛选出想要的信息
直接上代码package com.tophantimport java.text.SimpleDateFormatimport com.tophant.html.Util_htmlimport com.tophant.util.Utilimport org.apache.commons.lang.{StringEscapeUtils, StringUtils}import or...原创 2019-06-04 19:40:03 · 2530 阅读 · 0 评论