1.字符串转化成date类型要用parse,date转为固定格式的string要用format
2.String newStr = oldStr.replaceAll("\"",""); //这个是把所有的 " 都去掉.
3.spark本地运行的时候一定要记得setMaster("local")
4.用到index的时候先判断一下index值是否存在
5.对“2013-12-09-13.09.09.888”进行分离出现处理结果最后为null;但是单机本地模拟的是可以的。
恩 把yyyy-MM-dd hh改为了yyyy-MM-dd,hh
6.calendar.month比实际减一
7.计算两个日期相差多少时,先判断谁早谁晚(年份),然后再判断年份是否闰年,最后再计算。并且输出如果有正负的话,要注意隔年的正负号。
2.String newStr = oldStr.replaceAll("\"",""); //这个是把所有的 " 都去掉.
3.spark本地运行的时候一定要记得setMaster("local")
4.用到index的时候先判断一下index值是否存在
5.对“2013-12-09-13.09.09.888”进行分离出现处理结果最后为null;但是单机本地模拟的是可以的。
恩 把yyyy-MM-dd hh改为了yyyy-MM-dd,hh
6.calendar.month比实际减一
7.计算两个日期相差多少时,先判断谁早谁晚(年份),然后再判断年份是否闰年,最后再计算。并且输出如果有正负的话,要注意隔年的正负号。
8.hadoop fs -getmerge可以把hdfs的多个文件合并成一个文件
9.int 转化成String:
int i=10;
String str=Integer.toString(i);
double 转化成String:
double d=10.0;
String str=Double.toString(d);
String 转化成double:
String str="123456";
double d=Double.valueOf(str).doubleValue();
10.如果出现越界情况,就加个判断,即使是认为长度是一定的。
11.
public
static
void
main(String[] args) {
//第一种:
String [] arr = {
"41"
,
"a"
,
"5"
,
"g56"
};
String s1 = Arrays.toString(arr);
System.err.println(s1);
//[41, a, 5, g56]
//第二种:
String s2 = StringUtils.join(arr);
System.err.println(s2);
//41a5g56
//第三种:
String s3 = StringUtils.join(arr,
","
);
System.err.println(s3);
//41,a,5,g56
//第四种:
StringBuffer s4 =
new
StringBuffer();
for
(String string : arr) {
s4.append(string);
}
System.err.println(s4.toString());
//41a5g56
}
12.hbase配置文件
13.spark 伪分布式中,可以用static 全局变量 ,并且随时更新,但是集群spark,就不可以了,只能用final,广播变量来使用,而且不支持更新。