在前几天开发过程中,需求方给到一份样例数据需要进行同比增速情况计算,这份数据以.out文件形式给到,如下图。
第一次遇见,因为没有处理过这种问题,也没有查到类似解决方案,所以就按自己的理解来处理了,如果有大佬知道更好的方案,麻烦评论区留言指导一下,谢谢!
接下来是我的处理过程:
第一步、查看文件中包含哪些字段,匹配对应数据信息(给到的字段有15个,数据分为18个)。
第二步、选中有用部分信息,剪切出来利用notepad++替换功能将“|”替换为 “ ',' ” ,首位加上 [ ]。字段信息也同样处理,如图。
第三步、打开pycharm,利用python的numpy库,将处理好的数据剪切到代码中转化为csv文件。
第四步、去数据库中建表,把csv文件导入开发环境中,再插入表格(DBeaver中右键点击对应表格→导入数据→选择CSV文件→下一步→继续→完成)。
最后就可以写sqoop脚本导入hive中计算需求了。