- 博客(5)
- 收藏
- 关注
RSS订阅原创 微粒贷数据挖掘理论－技术－思维篇
标题起的看似很大，但其实我只是想记录一些学习的经历罢了。——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－数据挖掘技术包含数据准备、数据挖掘和结果评估的连续过程。在微粒贷的数据挖掘中，我们针对数据准备部分，计划采取两类方案，针对复杂多变的拉链表，我们计划确定其关联字段和时间字段后直接按时间字段分割，不保证唯一性直接上传。同时在本地保留...
2018-03-15 23:08:07
414
原创 类似于读后感－－－－基于大数据的金融数据挖掘章节
今天本来想写scala的 后来感觉今天没有摸到门道与核心 明天再去集群里试试。——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－近20年来在TD的帮助（剥削下）银行信息系统的信息化存储水平有一定的提高。近5年来大数据的技术逐渐稳定，书中总结如下：大数据的应用与之前数据的应用的不同点在于 规模、速度、多样性、价值密度。就我行而言，规模上...
2018-03-15 22:59:13
376
原创 初识Spark
参考Spark高级数据分析和快速大数据分析两本书的内容结合自己的想法和应用。不定期更新。每周二。——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－Spark的大名在2018年应当是早已响彻天下。原本只是hadoop生态圈的组件，单因为一个RDD的速度远超mapreduce就可以获得现在的成功。（毫无疑问现在是成功的开源软件，不由得使我...
2018-03-13 23:30:51
187
原创 2018年3月13日渠道数据集市相关思考
REASON ————因为明天需要去汇报相关内容所以今天需要做个整理。——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——－——渠道数据集市隶属于大数据平台仓库系统下的一个集市。先初步归整一下，现有的基于hadoop系统的数据仓库。作为数据仓库需要实现以下基本功能： 1、数据存储与提取：基于hdfs的分布式文件存储系统。 ...
2018-03-13 20:32:28
297
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人