- 博客(3)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 SparkSQL注册自定义函数
SparkSql可以方便地使用sql来处理数据，实际中经常会大量使用。在处理复杂逻辑时，为了避免写出又长又难以理解的SQL，可以实现自定义函数，再将其注册后，供sql调用。不仅减少sql的复杂度，还增加了代码的重用。下面就实现一个例子来说明,目的是以15分钟为统计周期，统计订单量。
2017-05-26 23:26:29
2968
原创 spark数据导入、处理实例
当项目中遇到所要分析的数据量较大情况时，本地python直接处理或导入数据库等普通的处理方式显然并不合适，不仅效率低下，且容易引起数据库崩溃。用spark将本地数据上传hdfs，写入hive，会更加高效。
2017-05-24 22:58:13
3619
原创 apriori算法实现挖掘商品关联规则(python)
数据挖掘有个常见的应用场景，即顾客在购买一件商品时，商家可以趁机了解他们还想买什么，以便把多数顾客愿意同时购买的商品放到一起销售以提升销售额。当商家收集到足够多的数据时，就可以对其进行亲和性分析，以确定哪些商品适合放在一起出售。
2017-05-23 23:32:47
7776
7
推荐系统实践
内容简介：, 随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了信息过载（information overload）的时代 。在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：对于信息消费者，从大量信息中找到自己感兴趣的信息是一件非常困难的事情；对于信息生产者，让自己生产的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情。推荐系统就是解决这一矛盾的重要工具。推荐系统的任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。
2017-05-23
Stanford 教授 Andrew Ng 的 Deep Learning 教程
Stanford 教授 Andrew Ng 的 Deep Learning 教程,包含最全人脸库，支持向量机通俗导论（理解SVM的三层境界）带完整书签版本.pdf，深度学习的基本理论与方法.pptx，BP神经网络的基本原理等
2017-05-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人