大数据
文章平均质量分 70
wer0735
这个作者很懒,什么都没留下…
展开
-
久其BI数据质量管控解决方案
1 概述1.1 方案背景随着企业信息化建设的全面展开,各种业务系统在企业的运营和管理等方面扮演着越来越重要的角色。系统中存储的大量数据已经成为企业继“人、财、物”后最具价值的企业资源。企业对数据的依赖程度也在加大,数据质量的好坏直接关系到信息的准确程度,也影响了企业的生存和竞争能力。因此,数据质量作为影响管理层决策正确性的基础元素,已经越来越多地为企业领导者所关注。但在长期的系统维护和转载 2016-08-25 00:21:29 · 4515 阅读 · 0 评论 -
Lambda架构
转载:https://blog.csdn.net/brucesea/article/details/459378751.Lambda架构背景介绍Lambda架构是由Storm的作者Nathan Marz提出的一个实时大数据处理框架。Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm,Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。Lambda架构的目标是设...转载 2018-07-11 21:15:04 · 23856 阅读 · 5 评论 -
美团旅行数据质量监管平台实践
转载:https://blog.csdn.net/meituantech/article/details/79668330背景数据,已经成为互联网企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力。Michael Hammer(《Reengineering the Corporation》一书的作者)曾说过,看起来不起眼的数据质量问题,实际上是拆散业务流程...转载 2018-06-27 21:07:46 · 2633 阅读 · 0 评论 -
一个母婴电子商务网站贝贝网的大数据平台及机器学习实践
转载:http://lxw1234.com/archives/2016/02/609.htm贝贝网的主要产品是垂直的母婴类,母婴相对一般的电子商务网站有一些特点:第一个特点是商品周期短,在母婴网站上的商品,在线的时间不会超过5-7天,第二个是用户需求的变化快,在母婴行业,可能是用户的需求变化最快的领域,比如是用户处在怀孕当中,关心的是孕妈的一些问题,几个月以后,随着宝宝的落地,就会准备一些纸尿裤和...转载 2018-03-27 16:22:36 · 2473 阅读 · 0 评论 -
hadoop2提交到Yarn: Mapreduce执行过程reduce分析3
转载:http://www.aboutyun.com/thread-9375-1-1.html问题导读:1.Reduce类主要有哪三个步骤?2.Reduce的Copy都包含什么过程?3.Sort主要做了哪些工作?4.4 Reduce类4.4.1 Reduce介绍整完了Map,接下来就是Reduce了。YarnChild.main()—>Red转载 2017-12-08 07:45:01 · 228 阅读 · 0 评论 -
hadoop2提交到Yarn: Mapreduce执行过程分析2
转载:http://www.aboutyun.com/thread-9370-1-1.html问题导读:1.hadoop哪些数据类型,是如何与Java数据类型对应的?2.ApplicationMaster什么时候启动?3.YarnChild进程什么时候产生?4.如果在recuece的情况下,map任务完成暂总任务的多少百分比?5.run的执行步骤是什么?6.转载 2017-12-08 07:43:16 · 269 阅读 · 0 评论 -
hadoop2提交到Yarn: Mapreduce执行过程分析1
转载:http://www.aboutyun.com/thread-9366-1-1.html问题导读1.为什么会产生Yarn?2.Configuration类的作用是什么?3.GenericOptionsParser类的作用是什么?4.如何将命令行中的参数配置到变量conf中?5.哪个方法会获得传入的参数?6.如何在命令行指定reduce的个数?转载 2017-12-08 07:41:18 · 259 阅读 · 0 评论 -
MapReduce中的Shuffle和Sort分析
MapReduce 框架的核心步骤主要分两部分:Map 和Reduce。 当你向MapReduce 框架提交一个计算作业时,它会首先把计算作业拆分成若干个Map 任务,然后分配到不同的节点上去执行,每一个Map 任务处理输入数据中的一部分,当Map 任务完成后,它会生成一些中间文件,这些中间文件将会作为Reduce 任务的输入数据。Reduce 任务的主要目标就是把前面若干个Ma原创 2017-12-08 00:01:16 · 289 阅读 · 0 评论 -
Error in acquiring locks: Locks on the underlying objects cannot be acquired. retry after some time
今天有一个任务报错:Unable to acquire IMPLICIT, SHARED lock db_ecar@bd_dw_terminal_id_city_info after 100 attempts.FAILED: Error in acquiring locks: Locks on the underlying objects cannot be acquired. r原创 2017-12-06 14:56:17 · 6285 阅读 · 1 评论 -
MapReduce错误集-map端jvm堆空间不足
任务:INSERT_ADD_BD_DW_GENERAL_PUSH脚本内容:hive -v -e "use db_ecar;set hive.map.aggr.hash.percentmemory = 0.25;INSERT INTO TABLE BD_DW_GENERAL_PUSH SELECT t4.USER_ID ,t1.TERMINAL原创 2017-12-04 17:47:32 · 451 阅读 · 0 评论 -
创建定性用户画像
在产品研发过程中,确定明确的目标用户至关重要。不同类型的用户往往有不同甚至相冲突的需求,我们不可能做出一个满足所有用户的产品。 为了让团队成员在研发过程中能够抛开个人喜好,将焦点关注在目标用户的动机和行为上,Alan Cooper提出了Persona这一概念。“赢在用户”这本书将其翻译为“人物角色”,在腾讯我们习惯了使用“用户画像”这个术语。表达的意思一样,是真实用户的虚拟代表,是在深转载 2017-11-28 15:58:12 · 325 阅读 · 0 评论 -
浅谈分布式锁
浅谈分布式锁2017-08-11 张岩 CSDN大数据↑ 点击上方蓝字关注我们,和小伙伴一起聊技术!随着互联网技术的不断发展,数据量的不断增加,业务逻辑日趋复杂,在这种背景下,传统的集中式系统已经无法满足我们的业务需求,分布式系统被应用在更多的场景,而在分布式系统中访问共享资源就需要一种互斥机制,来防止彼此之间的互相干扰,以保证一致性,在这种情况下,我们就需要用转载 2017-08-12 10:23:49 · 255 阅读 · 0 评论 -
如何高效的阅读Hadoop源代码?Hadoop的源代码写的怎么样?
转载:GarfieldEr007的专栏http://blog.csdn.net/garfielder007/article/details/50936415个人谈谈阅读hadoop源代码的经验。首先,不得不说,Hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得认真一次,转载 2017-02-27 22:04:14 · 1271 阅读 · 0 评论 -
大数据学习流程详解
首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得认真一次,认真阅读一次hadoop源代码,一定要有足够的心理准备和时间预期。其次,需要注意,阅读Hadoop源代码的效率,因人而异,如果你有足够的分布式系统知识储备,看过类似的系统,则能够很快地读它的源代码进行通读,并快速切入你最关注的局部转载 2017-02-16 23:32:28 · 313 阅读 · 0 评论 -
Data Quality Services
Data Quality Services 简介SQL Server 2012其他版本使用 Data Quality Services (DQS) 提供的数据质量解决方案,数据专员或 IT 专业人员可以维护数据的质量并确保数据满足业务使用的要求。 DQS 是一种知识驱动型解决方案,该解决方案通过计算机辅助方式和交互方式来管转载 2016-08-25 06:11:51 · 7311 阅读 · 0 评论 -
聊一聊数据仓库中的元数据管理系统
转载:https://yq.aliyun.com/articles/174269?utm_content=m_28755相信很多朋友都是第一次听说元数据管理系统这个名词,当然,从事非数据仓库工作的人,很少会接触到这个系统,即使是正在从事这方面工作的朋友,可能仍然对它不是很了解,那么今天我来聊一聊元数据管理系统。本文大部分观点与图片汇总字网络,如有不同观点,欢迎留言交流~~ .一、元数据的定义按照传...转载 2018-07-15 09:52:58 · 1273 阅读 · 0 评论