孤星魅影-CSDN博客

原创 hive 时间函数的研究与总结

hive时间函数 from_unixtime(bigint,string) => string 将10位的unix时间戳转为指定格式（默认为yyyy-MM-dd HH:mm:ss） unix_timestamp(string date,string regex)=> bigint 将指定格式的日期字符串转为10位时间戳 to_date(string date) ...

2019-10-18 20:06:36 146

原创用scala实现快速排序

/** * @author 孤星魅影 * 一个简单的整型数组快速排序代码 * scala大部分符号都是左结合，只有:的连接符是右结合，a:b+c 相当于a:(b+c)，它会优先执行冒号右边的表达式。 */ def sortInt(arr:Array[Int]):Array[Int]={ if (arr == null || arr.length <= 1) return a...

2019-10-18 19:49:49 443

原创 ip转long数字

原理 a,b,c,d = a256256256+b256256+c256+123 ip是256进制，所以a需要*3个256才能保证每个bcd不重复，b,c,d同理，使用位计算效率更高：*256相当于<<8 提供一段scala代码: def ip2long(str:String)=ipStr.split(".").reverse.zipWithIndex.map(v=>v._1&l...

2019-10-18 19:41:08 222

FastSparkStreaming-2.0.jar

快速创建Kafka-SparkStreaming业务，提供两种plan设计模式：缓存模式和窗口模式缓存模式：将批处理结果存入kafka，不使用窗口窗口模式：使用窗口，不持久化中间批处理结果具体说明和开源代码均在我的社区 https://github.com/caiyunfan123

2019-09-05

FastURL-2.2.jar

FastURL的2.1升级版，向下兼容2版本，完善了部分API，用法更简洁了。新增功能：单独分离的懒加载的数据库单例，可以用于广播变量

2019-08-23

FastURL-2.1.jar

FastURL1.0的升级版，提供快速获取URL键值对、快速解析IP地域信息、快速解析浏览器设备信息，并提供了定制功能、简化了API，与1.0版不兼容

2019-08-21

提供以FastURL为主的多个快速转换工具，可以将任意带有URL格式的字符串转为Json格式，同时还带有IP解析和Agent解析的功能，基于scala2.10开发，java1.8以上也可以使用。 Scala使用示范：FastURL(url).putIPtoMap("1.2.3.4",false).putAgentToMap("b_iev").remove("b_iev").toJsonString Java使用示范：FastURL.apply(url).putIPtoMap("1.2.3.4", false).putAgentToMap("b_iev",true).remove("b_iev").toJsonString()

2019-08-20

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

qq_42877627的博客

原创 hive 时间函数的研究与总结

原创用scala实现快速排序

原创 ip转long数字

FastSparkStreaming-2.0.jar

FastURL-2.2.jar

FastURL-2.1.jar

FastURL-1.0.jar

空空如也

原创 hive 时间函数的研究与总结

原创 用scala实现快速排序

原创 ip转long数字

FastSparkStreaming-2.0.jar

FastURL-2.2.jar

FastURL-2.1.jar

FastURL-1.0.jar

空空如也

原创用scala实现快速排序