大数据
wswswang
这个作者很懒,什么都没留下…
展开
-
sqoop实现自定义函数
sqoop实现自定义函数 需求 因为手机号是比较的隐私的字段,实现手机号的非对称加密,以便日后发短信广告推广 技术实现 原理 修改sqoop生成的java代码修改,对其需要的字段进行加密,重新打包生成jar,在sqoop使用时导入该jar 具体流程 使用sqoop生成对应的java代码 sqoop codegen --connect {jdbc:url}原创 2018-01-23 15:36:24 · 1507 阅读 · 0 评论 -
sqoop基本使用
sqoop 使用笔记 sqoop概念 将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 sqoop import 工具 “导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据(或者Avro、sequence文件等二进制数据)原创 2018-02-01 16:12:45 · 382 阅读 · 0 评论