qingkong_0802141的博客

原创 spark 实现二次排序

在实际业务场景中，二次排序真的非常重要，并且经常遇到，下面来模拟一下以下的场景，实现对电影评分数据进行二次排序，以TimeStamp和Rating两个维度降序排列，值得一提的是，java版本的二次排序非常繁琐，而使用scala实现就简捷，首先我们需要一个继承Ordered和Serializable的类。数据：ratings.txt    (UserID::MovieID::Rating::Time...

原创 spark运行架构图

转载 hive中regexp_extract的有用法总结

1、关于正则表达式的符号及意义正则表达式由标准的元字符（metacharacters）所构成：/做为转意，即通常在"/"后面的字符不按原来意义解释，如/b/匹配字符"b"，当b前面加了反斜杆后//b/，转意为匹配一个单词的边界。-或- 对正则表达式功能字符的还原，如"*"匹配它前面元字符0次或多次，/a*/将匹配a,aa,aaa，加了"/"后，/a/*/将只匹配"a*"。^ 匹配一个输入或一行的开...