![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
项目总结
一方架构
技术有点水
展开
-
如何在已有CM集群环境中添加kafka组件
参考kafka升级 CDH5与CM5环境搭建场景怎么局部升级当前cm集群呢,比如添加kafka组件、spark组件等分析一、升级原因1、 现有集群组件只能做一些离线类统计分析,无法满足当前实时类业务计算的需求。 2、 现有集群计算引擎是基于MR2,计算能力相对较弱。综合以上因素,决定在已有的集群组件中添加 : flume、kafka 与 spark 组件,以期提升集群的计算能力,满足当前实时原创 2016-09-14 17:06:53 · 5244 阅读 · 4 评论 -
[0.0.0] 大型spark项目实战
参考《Spark大型项目实战:电商用户行为分析大数据平台》- 中华石杉 DT大数据梦工厂-王家林 spark官网文档场景在项目实战中理解: 1、spark core、sql、streaming以及机器学习与图计算相关的知识点 2、性能调优化、troubleshooting与数据倾斜解决方案 当然,随便发发牢骚,关于生活。前言关于第一个spark大型项目实战1、瞎说话说Snail三个月前离职原创 2016-06-27 00:06:24 · 10673 阅读 · 4 评论 -
征信通产品原型设计文档
场景在最好的年代,组个小分队,拼一个激动人心的产品 - 征信通简介一、什么是征信通征信通旨在利用大数据相关技术,分析用户的各种行为数据:电商、社交、出行行等用户360度全景数据,快速(分钟级)准确评价出用户的信用等级,为各信贷公司、商家提供客户的信用等级参考,进而打造实时贷、全民贷时代。最终,让所有有能力或者未来有能力支付的人轻松、快捷地购买到自己的商品。二、征信通解决的问题1、实时贷征信时间 :原创 2016-09-13 18:14:53 · 2431 阅读 · 0 评论 -
《大话实时计算》
场景蓝瘦?不知道大数据技术生态圈长啥样? 香菇?不知道实时计算到底是什么鬼?淘宝双11实时交易金额统计背后的故事? 。。。 。。。 噢特啦!金融中心大数据特种部队低调推出《开讲啦》系列培训,喊你一起来浪,一起来深度体验大数据的魅力!现象本季 主讲: Mr.Snail 主 题:《大话实时计算》 首次开讲时间: 2016年10月17号晚上7点至8点培训地点:B605 培原创 2016-10-14 17:06:12 · 912 阅读 · 0 评论 -
大话实时计算(二)
上期内容回顾第一期经典问题回顾与解读观点:大数据 = hive sql ≈ java web理由:大数据不就是写一些hive sql 搞搞ETL,做几张统计分析用的简单报表 - 这个java web 也可以做啊,多简单!解读:大数据与java web完全不同;大数据远非hive sql这种单一的传统的离线分析技术,还有实时计算,机器学习 。。。第一,大数据跟java web完全不同 - 即使业务原创 2016-10-25 21:45:19 · 1236 阅读 · 0 评论 -
数据采集实践(二)
问题消息中间件比如kafka、rockMQ中的消息怎么保存到hdfs等分布式文件系统中?用户的一条行为数据,要历经怎样的跋涉才能展现在一张看是普通的报表上?背景基于Flume的二次数据采集与中转。作为数据分析类产品,魔镜面临的第一个问题就是怎么全面、高效、准确地收集用户的行为数据。上一篇文章,我们详细地介绍了JS SDK的工作原理与API说明,知道如何从美的分期应用的前端,通过埋点的方式采集与上报用原创 2017-11-03 15:18:41 · 1236 阅读 · 0 评论 -
感动 Mr.Snail 作品集
场景收集全网各路大神的骨灰级原创作品,方便后续随时查阅学习。网址1、Git教程【简介】 “史上最浅显易懂的Git教程!”“为什么要编写这个教程?因为我在学习Git的过程中,买过书,也在网上Google了一堆Git相关的文章和教程,但令人失望的是,这些教程不是难得令人发指,就是简单得一笔带过,或者,只支离破碎地介绍Git的某几个命令,还有直接从Git手册粘贴帮助文档原创 2016-03-23 21:06:41 · 628 阅读 · 0 评论 -
征信画像项目实施文档摘要
项目背景消金美的分期产品,当前主要引用与依赖同盾等第三征信公司相关产品做线上风控。这些风控产品没有融合与应用美的集团自身庞大的零售数据与消金应用自身积累的丰富的用户行为数据,不足以帮助消金团队识别线上商户与消费者的套现欺诈行为。本项目旨在为消金风控团队提供用户风控相关画像标签,以期最大程度识别消费者的欺诈行为。需 求功能性需求实时向消金团队提供包括姓名、设备号、注...原创 2019-01-14 08:47:40 · 761 阅读 · 0 评论 -
[3.3.0]数据倾斜与shuffle类性能调优
转自:spark性能优化指南场景数据倾斜解决方案与shuffle类性能调优分析数据倾斜有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。一、数据倾斜发生时的现象1、绝大多数task执行得都非常快,但个别task执行极慢。比如,总共有1000个task,99转载 2016-08-20 11:36:51 · 2998 阅读 · 0 评论 -
[3.1.0]结合案例详解hash-shuffle原理
参考中华石杉 详细探究spark shuffle的实现场景什么是shuffle?shuffle类算子有哪些?怎么具体的形象的理解shuffle过程?分析还是从wordcount程序说起。 简单起见,假设spark集群共由3台机器:1台driver node、2台worknode组成。现在要计算某个文件中各个单词出现的次数,假设这个文件里只包含 hello,spark , word这三种类型的单词原创 2016-07-07 18:01:16 · 1114 阅读 · 0 评论 -
周-工作总结(1)
场景上周做了什么事情?搭建了开发环境初步理解什么是机器学习理解基于spark mllib机器学习的开发过程以ALS算法为例,尝试搭建自己的推荐系统(目前还没有搞定) 分析一. 搭建开发环境。周五发现目前的开发环境不可用:从svn下载后的工程无法在idea下运行。于是从新搭建了一下开发环境,项目已上传至SVN,具体搭建过程文档见附件相关文档。二. 什么是机器学习从功能的角度来讲就是,计算机原创 2016-07-25 00:40:46 · 814 阅读 · 0 评论 -
[2.0.1]代码解读 统计session访问时长占比
场景[2.0.0]已经对用户session分析模块的统计session访问时长占比功能点的需求分析进行了完美的解说。本文旨在对统计session访问时长占比的代码进行解读,并抽取核心spark知识点单独说明分析1、由action粒度的数据 map 得到 session粒度的数据;进一步group,得到聚合后的session粒度数据 2、join用户表数据得到,包含用户信息的session粒度数据原创 2016-07-02 13:36:05 · 2153 阅读 · 0 评论 -
[2.0.0]用户session分析模块之需求分析与数据设计
参考电商用户行为分析大数据平台 - 中华石杉场景场景一教师节快到了,你特别想知道18至25岁单身文艺女神的购物习惯:她喜欢什么样的礼物?最近想买什么礼物又暂时还没有购买(就是把商品放入了购物车,却没有下单)?哈哈,你乐了,作为某知名电商大数据平台的资深架狗师,这种小问题简直就是一块蛋糕啊!场景二“用户画像”,“用户图像” 等高大上词语愕然并发出现在大数据开发工程师的招聘技能条列上。话说Snail 最原创 2016-07-02 00:33:07 · 2448 阅读 · 0 评论 -
[3.2.0]JVM调优原理以及降低Cache操作的内存占比
场 景如下图任务执行结果统计参数出现 GC 时间很长( 下图旨在说明standalone模式下GC时间怎么查看,图中task并不存在GC问题):解决方案SparkConf config = new SparkConf();config.set("spark.storage.memeroyFraction", "0.5")如上代码块第二行,将RDD Cache操作的内存占比由默认的0.6,依次改原创 2016-07-04 22:49:03 · 1009 阅读 · 0 评论 -
[0.0.1]用户标签体系与画像
场景一、 用户标签体系的建立 分别从素质(员工的基本信息)、能力、状态(工作行为)、效率(工作的饱和度)与绩效(结果)共五个维度建立用户的行为标签体系。具体包括:标签体系的建立 按照五个维度将标签分为五类 - 即五个一级标签;每个具体类别再定义自己的子标签。目前考虑将标签分为 三级:第一级分为五类、第二级根据具体父类的不同再划分子类,第三级即为最基础的标签标签的定义 根据具体维度的特点分别原创 2016-07-17 23:14:54 · 4776 阅读 · 0 评论 -
[3.0.0]性能调优之最大化资源配置
” 性能调优的王道,就是增加和分配更多的资源,如果说你的spark作业,能够分配的资源达到了你的能力范围的顶端之后,无法再分配更多的资源了,那么才是考虑去做后面的其他性能调优的点“ -中华石杉参考中华石杉场景用户session分析模块,代码已撸完,且在本地测试通过,接下来要干嘛呢?对,性能调优。性能调优的必要性 传统J2EE项目重在架构与组建的可扩展性(当然,高并发网站除外),而大数据项目性原创 2016-07-01 09:38:06 · 2221 阅读 · 1 评论 -
[3.0.1]性能调优之调节并行度
参考中华石杉 DT大数据梦工厂系列场景什么是并行度、如何调节并行度、并行度对性能有怎样的影响以及并行度调节成多大合适?分析并行度Snail理解的并行度是指spark集群能同时并发处理的task数量,在数值上等于集群的总core的数量,其值可以在编写应用程序的时候指定:val conf = new SparkConf() conf.setAppName("my first spark原创 2016-07-01 12:43:46 · 842 阅读 · 0 评论 -
[1.1.0]工具类之SparkUtils的编写
场景将各业务子模块公共的Spark代码抽取到一个工具类中,主要包括:模拟生成生产环境hive仓库中相关业务表数据,本地开发测试用 spark应用程序所要处理的业务数据量很大,往往存储在Hive仓库中;本项目涉及到的hive表有 用户访问行为表:user_visit_action 与 用户信息表 user_info。在本地进行测试写好的spark应用程序代码,需手动写代码模拟上述hive表中业务数原创 2016-06-28 00:08:19 · 2588 阅读 · 2 评论 -
[1.0.1]交互式电商平台架构与数据流转
参考从hadoop到spark架构实践 中华石杉场景本项目是基于怎样的一个技术架构,以及大致的数据流转? 好的,先了解一下项目开发流程。Snail认为站在开发者的角度,一个正规的完整的大数据项目(普通J2EE项目也类似)流程大致分为三个阶段:1、架构设计阶段数据调研 分析平台要基于的底层的基础数据:分析表结构,弄清楚表之间的关系。表中的数据的更新粒度,一个小时更新一次,还是一天更新一次。每天原创 2016-06-30 19:26:33 · 2677 阅读 · 0 评论 -
[1.0.2] 详解基于maven管理-scala开发的spark项目开发环境的搭建与测试
场景好的,假设项目数据调研与需求分析已接近尾声,马上进入Coding阶段了,辣么在Coding之前需要干马呢?是的,“统一开发工具、开发环境的搭建与本地测试、测试环境的搭建与测试” - 本文详细记录实际spark项目开发环境的搭建。分析开发工具操作系统:win 10 JDK 版本 :jdk1.8.0_91 SCALA版本:2.10.6 MAVEN版本:apache-...原创 2016-07-24 15:40:15 · 3157 阅读 · 1 评论