2018年12月_代立冬

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月

原创大数据分析的下一代架构--IOTA架构设计实践[下]

IOTA架构提出背景大数据3.0时代以前，Lambda数据架构成为大数据公司必备的架构，它解决了大数据离线处理和实时数据处理的需求。典型的Lambda架构如下：Lambda架构的核心思想是：数据从底层的数据源开始，经过各样的格式进入大数据平台，然后分成两条线进行计算。一条线是进入流式计算平台，去计算实时的一些指标；另一条线进入批量数据处理离线计算平台，去计算T+1的相关业务指标，这些指标需...

2018-12-31 20:59:53 4999

原创 spark-submit时上传spark依赖到hdfs时间较长问题解决

spark-submit时，发现上传spark依赖到hdfs 时间长达数分钟，现象如下方截图：这个日志之后在上传程序依赖的jar，根据不同网络负荷，需要耗时数十秒甚至数分钟，导致任务提交速度超级慢，在官网上查到出现这种现象的原因：https://spark.apache.org/docs/2.1.1/running-on-yarn.html翻译过来就是：要想在yarn spark...

2018-12-22 17:55:47 2290

原创数据分析指标名词解释

数据分析指标名词解释名词解释维度指人们分析事物的角度。比如，分析活跃用户，可以从时间的维度，也可以从地域的维度去看，也可以时间、地域两个维度组合去分析。有层次关系的维度，就可以根据分析需求改变维的层次，变换分析的粒度钻取，比如分析活跃用户，从地域这个维度类型上，可以细分到省份、城市、县、乡镇的用户，也可以向上汇总。不同维度有些是相互独立的，比如时间维度和地域维度；但有些维度是有层次...

2018-12-21 22:23:07 4410 1

转载图解机器学习

图解机器学习每当提到机器学习，大家总是被其中的各种各样的算法和方法搞晕，觉得无从下手。确实，机器学习的各种套路确实不少，但是如果掌握了正确的路径和方法，其实还是有迹可循的，这里我推荐SAS的Li Hui的这篇博客，讲述了如何选择机器学习的各种方法。另外，Scikit-learn 也提供了一幅清晰的路线图给大家选择：其实机器学习的基本算法都很简单，下面我们就利用二维数据和交互...

2018-12-18 00:08:32 1912

翻译我应该使用哪种机器学习算法？

我应该使用哪种机器学习算法？该资源主要面向初学者到中级数据科学家或分析师，他们有兴趣识别和应用机器学习算法来解决他们感兴趣的问题。当面对各种各样的机器学习算法时，初学者提出的一个典型问题是“我应该使用哪种算法？” 问题的答案因许多因素而异，包括：数据的大小，质量和特性。可用的计算时间。任务的紧迫性。您想要对数据做什么。即使是经验丰富的数据科学家也无法确定哪种算法在尝试...

2018-12-16 14:56:05 5008 2

原创承载每天10万级任务的数据调度系统的架构是如何设计的

EasyScheduler大数据调度系统架构分享导语EasyScheduler是易观平台自主研发的大数据分布式调度系统。主要解决数据研发ETL 错综复杂的依赖关系，而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。背景任务调度系统在大数据平台当中是一个核心的...

2018-12-13 20:01:57 35438 16

转载 Alluxio客户端显示找不到FileSystem类问题分析与解决

我们发现时常在用户邮件列表上会出现一个有关作业失败的问题，这个失败伴随着错误消息“java.lang.ClassNotFoundException：Class alluxio.hadoop.FileSystemnot found”。这篇博客分析解释了这种失败的原因以及发生该问题时的解决方案。为什么会发生这个错误？这个错误说明Alluxio客户端在运行时不可用。当作业尝试访问Alluxio文...

2018-12-13 17:30:24 2294