Spark&hbase

1.字符串转化成date类型要用parse,date转为固定格式的string要用format
2.String newStr = oldStr.replaceAll("\"","");  //这个是把所有的 " 都去掉.
3.spark本地运行的时候一定要记得setMaster("local")
4.用到index的时候先判断一下index值是否存在
5.对“2013-12-09-13.09.09.888”进行分离出现处理结果最后为null;但是单机本地模拟的是可以的。
恩 把yyyy-MM-dd hh改为了yyyy-MM-dd,hh
6.calendar.month比实际减一
7.计算两个日期相差多少时,先判断谁早谁晚(年份),然后再判断年份是否闰年,最后再计算。并且输出如果有正负的话,要注意隔年的正负号。

8.hadoop fs -getmerge可以把hdfs的多个文件合并成一个文件

9.int 转化成String:
   int i=10;
   String str=Integer.toString(i);
double 转化成String:
   double d=10.0;
   String str=Double.toString(d);
String 转化成double:
   String str="123456";
   double d=Double.valueOf(str).doubleValue();

10.如果出现越界情况,就加个判断,即使是认为长度是一定的。

11.

public  static  void  main(String[] args) {
     //第一种:
     String [] arr = { "41" , "a" , "5" , "g56" };
     String s1 = Arrays.toString(arr);
     System.err.println(s1); //[41, a, 5, g56]
     //第二种:
     String s2 = StringUtils.join(arr);
     System.err.println(s2); //41a5g56
     //第三种:
     String s3 = StringUtils.join(arr, "," );
     System.err.println(s3); //41,a,5,g56
     //第四种:
     StringBuffer s4 =  new  StringBuffer();
     for  (String string : arr) {
         s4.append(string);
     }
     System.err.println(s4.toString()); //41a5g56
}

12.hbase配置文件


13.spark  伪分布式中,可以用static 全局变量 ,并且随时更新,但是集群spark,就不可以了,只能用final,广播变量来使用,而且不支持更新。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值