知识点汇总

简介

从事于金融大数据开发，整理了一些平时工作中的知识点和工具类，发布在趣说大数据微信公众号，分享工作经验，记录生活点滴，共同学习探讨，我在这等你哦！

以下是整理的一些知识点的链接:

1 离线数仓常用工具之sqoop （1）MySQL->HDFS

https://t.1yb.co/jVC0

2 离线数仓常用工具-sqoop（2）HDFS->MySQL

https://t.1yb.co/jVBS

3 工具类之Pyhton创建hive表

https://t.1yb.co/jVBK

4 Hive（Parquet）存储方式Task个数影响因素

https://t.1yb.co/jVBy

5 Hadoop shell 更改已上传文件副本数

https://t.1yb.co/jVBu

6 工具类之Java提交Oozie WorkFlow

https://t.1yb.co/jVBj

7 Java远程调用linux命令和脚本

https://t.1yb.co/jVB6

8 CSV等类型文件与Map互相转换（Scala）

https://t.1yb.co/jVB0

9 spark-任务提交多个jar包问题（Oozie调度）

https://t.1yb.co/jVAL

10 Oozie（CDH）参数配置

https://t.1yb.co/jVAH

11 Spark提交任务依赖jar包与集群jar包冲突问题

https://t.1yb.co/jVAd

12 Spark（离线+实时处理）案例（一）模拟数据

https://t.1yb.co/jVAd

13 Spark（离线+实时处理）案例（二）Kafka生产者分区分配策略

https://t.1yb.co/jVA9

14 Spark（离线+实时处理）案例（三）消费Kafka数据落地HDFS

https://t.1yb.co/jVA1

15 Spark（离线+实时处理）案例（四）自定义PathFilter

https://t.1yb.co/jVzR

16 Hive+Shell 输出重定向导出数据

https://t.1yb.co/jVzH

17 （开发环境）Spark读取Hive异常

https://t.1yb.co/jVzz

18 工具类之身份证归属地解析

https://t.1yb.co/jVz6

19 如何删除指定属性的历史日志文件？一条Shell 命令即可解决。

http://mp.weixin.qq.com/s?__biz=MzkzMTIxNDE0MQ==&mid=100000314&idx=1&sn=63037808089659b88207a87e82d2e4b8&chksm=426f24687518ad7ec48c594d43caa800a85f852dca554ce90af7be4909a0ced618208769779d#rd

20 SparkSQL 常用DataFrame API介绍

http://mp.weixin.qq.com/s?__biz=MzkzMTIxNDE0MQ==&mid=100000652&idx=1&sn=8c98d76af62e684afac687cf84402561&chksm=426f25de7518acc8fe0ff9f334d7d341d871a8d785c6071f86d99f0718ee32fb0938a3d8ceb8#rd