Insist

最近正在重新学习JVM的内存结构及相关优化内容，无意中看到IDEA的VM配置（安装时默认配置）中有如下的配置：# custom IntelliJ IDEA VM options-Xms2048m-Xmx2048m看到Xms和Xmx的一样，是不是稍微有些奇怪？这里就写篇文章分析一下，JVM的Xms和Xmx参数设置为相同的值有什么好处？首先来了解一下相关参数的概念及功能。Xms和Xmx参数定义在启动Java应用程序时，我们通常可以通过参数Xms和Xmx来配置JVM的堆信息。不配置虽然会有默认值，但

摘要sparkSQL在使用cache缓存的时候，有时候缓存可能不起作用，可能会发出缓存是假的吧的感慨。现在我们就把这个问题说道说道。问题场景描述当我们通过spark进行统计和处理数据时，发现他是延迟计算的，如果一个应用中出现多个action,而这多个action处理同一个数据源数据时，数据源用时间来过滤数据时，由于有多个action操作，遇到每个action就是一个job，每一个action都会执行数据源获取数据的操作，由于两个action之间的操作存在时间差，这两个action获取的数据有可

1、sql语句的模块解析 当我们写一个查询语句时，一般包含三个部分，select部分，from数据源部分，where限制条件部分，这三部分的内容在sql中有专门的名称：当我们写sql时，如上图所示，在进行逻辑解析时会把sql分成三个部分，project，DataSource，Filter模块，当生成执行部分时又把他们称为:Result模块、DataSource模块和Opertion模块。那么在关系数据库中，当我们写完一个查询语句进行执行时，发生的过程如下图所示：整个执行流程是..

表名：table_test_v1字段说明：id-唯一标识；date_id-日期；earnings-收益数据如下：需求：计算往年累计收益方法一：select b.date_id as '年份',sum(a.earnings) as '累计收益'from table_test_v1 a,table_test_v1 bwhere a.date_id<=b.date_idgroup by b.date_idorder by b.date_id;方法二：sel...

描述：有100人，开始每人100元赠送规则：每人拿一元赠送给其他人请问随着赠送次数增加，请问分布图的变化？代码模拟：public static void main(String[] args) { int persons = 100; int[] person = new int[persons];; for (int i = 0; i < persons;

之前看到的脚本，现在找不到文章的出处，对作者标识感谢！#!/bin/sh#该脚本为Linux下启动java程序的通用脚本。即可以作为开机自启动service脚本被调用，#也可以作为启动java程序的独立脚本来使用。##Author: tudaxia.com, Date: 2011/6/7##警告!!!：该脚本stop部分使用系统kill命令来强制终止指定的java程序进程。

Hive 参数hive.exec.max.created.files•说明：所有hive运行的map与reduce任务可以产生的文件的和•默认值:100000 hive.exec.dynamic.partition•说明：是否为自动分区•默认值：falsehive.mapred.reduce.tasks.speculative.execution•说明：是否打开推测

有三个白人被一个印第安人反对部落俘虏了。部落的首领愿意把他们放了，所以他把他们领到一根没有亮光的帐篷里。他给了每人一条头巾（他有5条头巾，3白2红，所以有2条是没有用到的）。然后他们排着队出去。这样，每个人都可以看到前面人的头巾颜色，但是看不到自己头巾的颜色。第一个走出去的看不到任何头巾第二个可以看到第一个人的头巾第三个人可以看到前面两个人的头巾

select CONVERT(varchar(30) , getdate()) select CONVERT(varchar(30) , getdate(), 102 )select CONVERT(varchar(30) , getdate(), 101 )select CONVERT(varchar(30) , getdate(), 103 )select CONVERT(varcha

【异常描述】Task with the most failures(4): -----Task ID:task_1479051658015_121922_r_000000URL:http://hnn01.ns4f.hi.ipm.nokia.com:8088/taskdetails.jsp?jobid=job_1479051658015_121922&tipid=task_14790

JAVA EXCEL API:是一开放源码项目，通过它Java开发人员可以读取Excel文件的内容、创建新的Excel文件、更新已经存在的Excel文件。使用该API非Windows操作系统也可以通过纯Java应用来处理Excel数据表。因为它是使用Java编写的，所以我们在Web应用中可以通过JSP、Servlet来调用API实现对Excel数据表的访问。下载：Java Exce

CUBE运算符生成的结果集是多维数据集,多维数据集是事实数据的扩展,事实数据即记录个别时间的数据,扩展建立在用户准备分析的列上,这些列被称为维,多维数据集是一个结果集,其中包含各纬度所有可能的交叉表格.CUBE运算符是在Select语句的group by子句中指定的,group by应指定维度列和关键字with cube,结果集将包括维度列中各值的所有可能组合.示例1.Sq

Python中的装饰器是你进入Python大门的一道坎，不管你跨不跨过去它都在那里。为什么需要装饰器我们假设你的程序实现了say_hello()和say_goodbye()两个函数。def say_hello(): print "hello!" def say_goodbye(): print "hello!" # bug hereif __na

MSIN[词语解释]1. Mobile Subscriber Indentification Number -- 移动通信的用户识别号码在某一PLMN内MS唯一的识别码。编码格式为：H1 H2 H3 S XXXXXX　　MSIN是国际移动用户识别码（IMSI）组成部分。　　IMSI共有15位，其结构如下：　　MCC+MNC+MSIN　　MCC：Mobile Coun

IMSI[词语解释]国际移动客户识别码IMSI=MCC+MNC+MSIN(采用E.212建议)MCC=移动国家号码，中国为460。MNC=移动网号。中国移动为00，中国联通为01。MSIN=移动客户识别码。 国际移动用户识别码（IMSI） International Mobile Subscriber Identity 国际上为唯一识别一个移动用户所分配的号

Python中的断言用起来非常简单，你可以在assert后面跟上任意判断条件，如果断言失败则会抛出异常。>>> assert 1 + 1 == 2>>> assert isinstance('Hello', str)>>> assert isinstance('Hello', int)Traceback (most recent call last): File "", line

问题描述：在表列里有肉眼不可见字符，导致一些更新或插入失败。 几年前第一次碰见这种问题是在读取考勤机人员信息时碰见的，折腾了一点时间，现在又碰到了还有点新发现就顺便一起记录下。如下图所示 golds字段 看上去5个字符，长度则为44 ，可判断有特殊字符存在此列中。基础知识准备贴几个常用函数1、获取字符的ASCII码 ASC

sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为：         sed [-nefri] ‘command’ 输入文本        常用选项：        -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料

rm -rf 慎用命令敲得多了，常在河边走，难免会湿鞋昨天，一个手误，敲错了命令，把原本想要留的文件夹给rm -rf掉了几天心血全木有了，靠，死的心都有了经百度，google以及尝试无果，哎，这个以后再研究怎么找回吧几点教训：1.rm 特别是rm -rf之前，小心，三思，或者直接将命令改写掉2.做好备份，有便捷的备份脚本3.做好定时备

linux中shell变量$#,$@,$0,$1,$2的含义解释: 变量说明: $$ Shell本身的PID（ProcessID） $! Shell最后运行的后台Process的PID $? 最后运行的命令的结束代码（返回值） $- 使用Set命令设定的Flag一览 $* 所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。 $@