简介
从事于金融大数据开发,整理了一些平时工作中的知识点和工具类,发布在趣说大数据微信公众号,分享工作经验,记录生活点滴,共同学习探讨,我在这等你哦!
以下是整理的一些知识点的链接:
1 离线数仓常用工具之sqoop (1)MySQL->HDFS
https://t.1yb.co/jVC0
2 离线数仓常用工具-sqoop(2)HDFS->MySQL
https://t.1yb.co/jVBS
3 工具类之Pyhton创建hive表
https://t.1yb.co/jVBK
4 Hive(Parquet)存储方式Task个数影响因素
https://t.1yb.co/jVBy
5 Hadoop shell 更改已上传文件副本数
https://t.1yb.co/jVBu
6 工具类之Java提交Oozie WorkFlow
https://t.1yb.co/jVBj
7 Java远程调用linux命令和脚本
https://t.1yb.co/jVB6
8 CSV等类型文件与Map互相转换(Scala)
https://t.1yb.co/jVB0
9 spark-任务提交多个jar包问题(Oozie调度)
https://t.1yb.co/jVAL
10 Oozie(CDH)参数配置
https://t.1yb.co/jVAH
11 Spark提交任务依赖jar包与集群jar包冲突问题
https://t.1yb.co/jVAd
12 Spark(离线+实时处理)案例(一)模拟数据
https://t.1yb.co/jVAd
13 Spark(离线+实时处理)案例(二)Kafka生产者分区分配策略
https://t.1yb.co/jVA9
14 Spark(离线+实时处理)案例(三)消费Kafka数据落地HDFS
https://t.1yb.co/jVA1
15 Spark(离线+实时处理)案例(四)自定义PathFilter
https://t.1yb.co/jVzR
16 Hive+Shell 输出重定向导出数据
https://t.1yb.co/jVzH
17 (开发环境)Spark读取Hive异常
https://t.1yb.co/jVzz
18 工具类之身份证归属地解析
https://t.1yb.co/jVz6
19 如何删除指定属性的历史日志文件?一条Shell 命令即可解决。
http://mp.weixin.qq.com/s?__biz=MzkzMTIxNDE0MQ==&mid=100000314&idx=1&sn=63037808089659b88207a87e82d2e4b8&chksm=426f24687518ad7ec48c594d43caa800a85f852dca554ce90af7be4909a0ced618208769779d#rd
20 SparkSQL 常用DataFrame API介绍
http://mp.weixin.qq.com/s?__biz=MzkzMTIxNDE0MQ==&mid=100000652&idx=1&sn=8c98d76af62e684afac687cf84402561&chksm=426f25de7518acc8fe0ff9f334d7d341d871a8d785c6071f86d99f0718ee32fb0938a3d8ceb8#rd