大数据编程
文章平均质量分 84
for your wish
好记性不如烂笔头。个人笔记用的博客
展开
-
Flink结合canal同步到Hbase
企业运维的数据库最常见的是mysql;但是mysql有个缺陷:当数据量达到千万条的时候,mysql的相关操作会变的非常迟缓; 如果这个时候有需求需要实时展示数据;对于mysql来说是一种灾难;而且对于mysql来说,同一时间还要给多个开发人员和用户操作; 所以经过调研,将mysql数据实时同步到hbase中; 最开始使用的架构方案: Mysql---logstash—kafka---spa......转载 2019-05-04 11:44:20 · 6073 阅读 · 4 评论 -
使用UDF函数实现Hive&Impala的中文拼音排序
想要实现对中文字段的排序,需要将中文字段转换成拼音,然后在Hive、Impala中对拼音进行排序即可。因此可以使用UDF在Java中写一个汉字转拼音的程序,然后在Hive、Impala中使用,代码如下: public String evaluate(String ChineseLanguage) { char[] cl_chars = ChineseLanguage.trim().to...转载 2019-06-17 09:22:00 · 1288 阅读 · 1 评论 -
Log4j采集日志分析(模拟)
test下新建directory然后idea的右上角项目结构使其变成Test,新建LogGenerator import org.apache.log4j.Logger; public class LoggerGenerator { private static Logger logger = Logger.getLogger(LoggerGenerator.class.getNa...转载 2019-08-11 16:29:52 · 543 阅读 · 0 评论