JAVA
文章平均质量分 69
大愚若智_
.
展开
-
JVM垃圾回收机制
1.JVM的gc概述 gc即垃圾收集机制是指jvm用于释放那些不再使用的对象所占用的内存。java语言并不要求jvm有gc,也没有规定gc如何工作。不过常用的jvm都有gc,而且大多数gc都使用类似的算法管理内存和执行收集操作。 在充分理解了垃圾收集算法和执行过程后,才能有效的优化它的性能。有些垃圾收集专用于特殊的应用程序。比如,实时应用程序主要是为了避免垃转载 2015-08-25 12:56:56 · 564 阅读 · 0 评论 -
对N各集合中的任意元素进行排列组合问题
小李去市场买菜,有蔬菜(茄子、黄瓜、大白菜...等k中素菜),和肉类(牛肉,羊肉,鸡肉...等m种荤菜),及点心(麻饼,桃酥,枣花...等n中点心),现在老婆要求每天一荤一素一点心 并且每天的样式要尽可能不重复,这样子有多少中买菜的方案。问题转化为排列组合问题就是,已知存在N个集合S1、S2.....Sn,每个集合各有m1、m2......mn各元素。依次有序从各个集合当中任意取一个元素,生成原创 2015-10-24 21:40:42 · 2580 阅读 · 0 评论 -
一个线性优化问题--仓库配货
仓库配货问题:有A、B、C、D…等n各仓库,实际拥有的货物数量为,现在有总量为T的货物,需要按照一定的比例从各个仓库获取,然而有些仓库的实际数量可能不够、而有些仓库的实际数量可能有多余。部分仓库不够的差额需要从其余有多余货物的仓库中取足其差额。 当某一个仓库的货物不足时,如B仓库时,则将B仓库的差额按分配比例分发给其他仓库进行调配,是最终的实际分配总数尽量与需求总数T一致,同时各个原创 2015-10-25 11:27:51 · 1405 阅读 · 0 评论 -
hbase高性能读取数据
有时需要从hbase中一次读取大量的数据,同时对实时性有较高的要求。可以从两方面进行考虑:1、hbase提供的get方法提供了批量获取数据方法,通过组装一个list gets即可实现;2、java多线程的Future方法实现了如何从多线程中获取返回数据。以上两种方法结合后,获取数据将会更加的高效。阅读到一篇文章,对这两个方法的结合使用给出了实例,并有详细的性能分析。特意转载过来,供以后的参考学习:转载 2016-01-09 11:51:02 · 24045 阅读 · 1 评论 -
spark下使用submit提交任务后报jar包已存在错误
使用spark submit进行任务提交,离线跑数据,提交后的一段时间内可以application可以正常运行。过了一段时间后,就抛出以下错误:org.apache.spark.SparkException: File ./myapplication.jar exists and does not match contents of http://10.28.139.44:33084/jars原创 2016-02-20 15:53:55 · 3384 阅读 · 0 评论 -
Java中的final关键字
在JAVA中经常会遇到出现final关键字的场合,final关键字在不同的上下文环境中,其含义也有所不同,同时,自己也出现过误用final关键字的情况。在此,对final关键字的左右和使用场合做一个总结:final关键字基本含义:字面意思:被final修饰的对象是无法改变的。在Think in Java这本书中,讨论了使用final的三种情况:一、final数据:在程序设计中,经常需要在程序开始运原创 2016-11-09 14:46:59 · 566 阅读 · 0 评论 -
maven环境下使用java、scala混合开发spark应用
熟悉java的开发者在开发spark应用时,常常会遇到spark对java的接口文档不完善或者不提供对应的java接口的问题。这个时候,如果在java项目中能直接使用scala来开发spark应用,同时使用java来处理项目中的其它需求,将在一定程度上降低开发spark项目的难度。下面就来探索一下java、scala、spark、maven这一套开发环境要怎样来搭建。1、下载scala sdkht原创 2017-01-09 16:42:06 · 9396 阅读 · 0 评论 -
基于图的任务流引擎GraphScheduleEngine
GraphScheduleEngine是什么:GraphScheduleEngine是一个基于DAG图的任务流引擎,不同语言编写、运行于不同机器上的模块、程序,均可以通过订阅GraphScheduleEngine的消息来启动、运行、结束自身的任务。开发GraphScheduleEngine的初衷:在数据挖掘、推荐引擎的离线计算等任务中,会涉及诸多的子任务,每个子任务之间通常还存在着复杂的依赖关系,原创 2016-12-19 17:19:53 · 3675 阅读 · 0 评论