![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
架构
文章平均质量分 73
lcyGo
一个行走在IT界的江湖人:
本科+码农+AI+大数据平台架构+计算机专业背景带你开启AI之路。
lcyGo将用最简单、无痛、快乐的方式带你进入机器学习的游乐场!
最快最有效的学习路径+资源分享+实战经验传授+交流学习,第一时间更新在微信公众号:AIPlayGround
Email:lcyGo11@163.com
展开
-
详解个性化推荐五大最常用算法
推荐系统,是当今互联网背后的无名英雄。我们在某宝首页看见的商品,某条上读到的新闻,甚至在各种地方看见的广告,都有赖于它。昨天,一个名为Stats&Bots的博客详解了构建推荐系统的五种方法。量子位编译如下:现在,许多公司都在用大数据来向用户进行相关推荐,驱动收入增长。推荐算法有很多种,数据科学家需要根据业务的限制和要求选择最好的算法。为了简化这个任务,Sta转载 2017-09-12 23:41:31 · 10954 阅读 · 0 评论 -
Spark内存分配
Spark中executor-memory参数详解 https://blog.csdn.net/wisgood/article/details/77857039#commentsedithadoop - Yarn - why doesn't task go out of heap space but container gets killed? - Stack Overflow https://...原创 2018-05-08 11:18:31 · 935 阅读 · 0 评论 -
大话推荐系统
摘要: 在大数据的时代,信息泛滥,如何在大量的信息中提出用户想要的,推荐系统便显得极其重要了。在电商,电影,广告方面,推荐系统得到越来越广泛的应用。一 什么是推荐系统个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信转载 2017-09-12 23:30:47 · 348 阅读 · 0 评论 -
推荐系统之眼
前言这半个月除了工作上的事,一直忙于学习机器学习基础理论,每天背着四五本书上下班,还蛮有读书时的感觉。之前写了一篇文章,叫基于用户画像的实时异步化视频推荐系统,应该说只是完成了一个心脏,整个数据集经过心脏的起博,开始流动起来,并且能够对外提供服务。然而此时的系统依然是瞎的,我们不知道它的效果如何,给我们带来了什么收益,会不会出现糟糕的推荐结果,以及我们有没有途径按照自己的想法去调教它。我们转载 2017-09-12 23:39:26 · 283 阅读 · 0 评论 -
推荐系统老司机的十条经验
上周Resyschina公众号粉丝数达到10000个,我们承诺给小伙伴们送福利(详见:写在ResysChina公众号一万订阅用户之际),恭喜@IF Young 和 @白大虾的 ...两位同学勇夺留言获赞数状元和榜眼!请两位同学在后台给我们留下收货地址,一本崭新的《深度学习:21天实战Caffe》立即寄出。也非常感谢其他同学的关心和支持,请继续关注Resyschina,我们持续分享原创文章,转载 2017-09-12 23:38:27 · 1049 阅读 · 0 评论 -
推荐系统基础知识
关于推荐系统的基础整理,是对于部门内部交流培训学习“推荐系统基础”的一个整理,比较基础。And,这基本是技术知识~~1 个性化推荐概述1.1 推荐系统概述首先,需要申明一点的就是推荐系统!=推荐算法。推荐系统是一套完善的推荐机制,包括前期数据的准备、具体推荐的过程(这个过程可能是一套复杂的算法模型,也可能是一个简单的规则,也可能是多种模型的混合结果等等)、后期数据的预测转载 2017-09-12 23:28:58 · 781 阅读 · 0 评论 -
京东基于Spark的风控系统架构实践和技术细节
1.背景互联网的迅速发展,为电子商务兴起提供了肥沃的土壤。2014年,中国电子商务市场交易规模达到13.4万亿元,同比增长31.4%。其中,B2B电子商务市场交易额达到10万亿元,同比增长21.9%。这一连串高速增长的数字背后,不法分子对互联网资产的觊觎,针对电商行业的恶意行为也愈演愈烈,这其中,最典型的就是黄牛抢单囤货和商家恶意刷单。黄牛囤货让广大正常用户失去了商家给予的优惠让利;而商家转载 2017-09-11 11:26:52 · 4385 阅读 · 0 评论 -
搭建风控系统道路上踩过的坑03-阻断风险
本系列的上一篇文章搭建风控系统道路上踩过的坑02-风险分析,我们介绍了在采集信息后如何去分析这些数据产出风险事件,而产出的报警已经脱离了业务系统并不能被采用的。说白了:分析出来的东西不能光自己看着High,还得去阻拦这些风险才能真正产生业务价值。在开始前,我们还是回顾下业务风控主要做的四件事:1、拿到足转载 2017-09-10 21:13:22 · 474 阅读 · 0 评论 -
搭建风控系统道路上踩过的坑02-风险分析
上一篇《搭建风控系统道路上踩过的坑01--信息采集》我们介绍了第一点,如何去获取足够多的数据,而接下来的事情就是要创建一个机制去灵活的处理这些信息,为自动分析捕捉风险事件提供基础原料,进而借助规则引擎从中分析出风险事件。在开始前,我们还是回顾下业务风控主要做的四件事:1、拿到足够多的数据2、转载 2017-09-10 21:13:58 · 362 阅读 · 0 评论 -
精彩博客
1.心系旭阳http://blog.csdn.net/xuyang_liu2.数据小宇军的博客http://blog.sina.com.cn/s/articlelist_2687675833_0_1.html原创 2017-09-04 20:53:32 · 309 阅读 · 0 评论 -
Spark踩坑记——Spark Streaming+Kafka
前言在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式进行归纳总结,之后简单阐述Spark streaming+kafka在舆情项目中的应用,最后将自己转载 2017-09-26 22:26:23 · 3091 阅读 · 0 评论 -
Spark踩坑记——数据库(Hbase+Mysql)
前言在使用Spark Streaming的过程中对于计算产生结果的进行持久化时,我们往往需要操作数据库,去统计或者改变一些值。最近一个实时消费者处理任务,在使用spark streaming进行实时的数据流处理时,我需要将计算好的数据更新到hbase和mysql中,所以本文对spark操作hbase和mysql的内容进行总结,并且对自己踩到的一些坑进行记录。Spark Stream转载 2017-09-26 22:25:37 · 444 阅读 · 0 评论 -
Spark踩坑记——初试
Spark简介整体认识Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。Spark在整个大数据系统中处于中间偏上层的地位,如下图,对hadoop起到了补充作用:基本概念Fork/Join框架是Java7提供了的一个用于并行执行任务转载 2017-09-26 22:24:41 · 865 阅读 · 0 评论 -
浅谈如何建立互联网风控系统
弹指间,一起创业已有大半年。这大半年间,累与成果并存,痛并快乐着,这自不用多提,应该是这一行从业者的普遍感受了。现在每每反思以往,总结不足,其中一条就是技术团队过于封闭,闷着头干活,发声不足,既不利于引入别人的好的经验,也没法将自身的成果拿出去接受批判,这其实与我们的技术宗旨是不符合的,还是需要挤出时间往外看,向外喊。本文将会是岂安科技技术团队的抛砖石,来引出小伙伴的总结分享,转载 2017-09-10 21:16:19 · 8606 阅读 · 0 评论 -
搭建风控系统道路上踩过的坑01--信息采集
作者前言从业近10年,大大小小参与了3家公司不同领域的风控系统的设计,从前到后把风控系统所有环节都细细的琢磨过,然而至今仍然感觉刚刚一只脚踏进门而已。大多数人做的产品都是目的明确的,比如订单支付、账户体系要做什么一开始就知道了,而且也有很多的竞品可以去参考;风控系统却完全不一样——未来要面对什么问题不可能完全了解,做每个功能都谨小慎微,因为一个不转载 2017-09-10 21:15:00 · 825 阅读 · 0 评论 -
搭建风控系统道路上踩过的坑04-风险分析
风控系统和大部分的产品项目一样,最终需要对领导层汇报这个项目为公司带来了什么价值,这是评估项目成功与否的要素;另外是哪里做的不够好,如果改善了能带来更多的价值,给出了预期才有后续资源的补充,整个项目才能转起来形成一个良性循环。现在开始说说这个系列的最后一话:如何对风控系统进行效果评估与优化与之前转载 2017-09-10 21:09:38 · 601 阅读 · 1 评论 -
我所理解的大数据个性化推荐
一、写在之前的题外话缘起。想起要写这篇文章,一方面是昨天终于把项亮写的《推荐系统实践》给看完了,另一方面是自己负责的推荐系统项目已经处于一个多版本迭代的阶段了,并且从最近的AB测试效果来看,新提交的算法模型还是有一定的进步的,如今已经把流量全部切换到了新算法中。所以,结合看书的一些思考,以及实际操作的一些感想,总是有一些想要表达、分享的东西,不吐不快啊~~ 哈哈!不转载 2017-09-15 10:04:14 · 2480 阅读 · 0 评论 -
TensorFlow深度学习
TensorFlow深度学习框架Google不仅是大数据和云计算的领导者,在机器学习和深度学习上也有很好的实践和积累,在2015年年底开源了内部使用的深度学习框架TensorFlow。与Caffe、Theano、Torch、MXNet等框架相比,TensorFlow在Github上Fork数和Star数都是最多的,而且在图形分类、音频处理、推荐系统和自然语言处理等场景下都有丰富的应转载 2017-09-22 22:02:19 · 378 阅读 · 0 评论 -
Spark提交应用读取配置信息的顺序
通过SparkConf 对象配置的属性优先级最高;其次是对spark-submit 或 spark-shell通过flags配置;最后是spark-defaults.conf文件中的配置。链接:Spark三种属性配置方式详细说明 – 过往记忆 https://www.iteblog.com/archives/1140.html...原创 2018-05-08 11:51:08 · 498 阅读 · 0 评论