ZzXxL24的博客

勿在浮沙筑高台。

基于Spark2.x新闻网大数据实时分析可视化系统项目

本次项目是基于企业大数据经典案例项目(大数据日志分析),全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。项目代码托管于github,大家可以自行下载。一、业务需求分析捕获用户浏览日志信息实时分析前20名流量最高的新闻话题实时统...

2018-05-03 20:05:20

阅读数:11446

评论数:3

基于MapReduce实现物品协同过滤算法(ItemCF)

一、背景电子商务网站是个性化推荐系统重要地应用的领域之一,亚马逊就是个性化推荐系统的积极应用者和推广者,亚马逊的推荐系统深入到网站的各类商品,为亚马逊带来了至少30%的销售额。二、ItemCF简介基于item的协同过滤,通过用户对不同item的评分来评测item之间的相似性,基于item之间的相似...

2018-05-17 17:36:40

阅读数:7585

评论数:0

机器学习框架Ray——Actor模型

1. Actors Ray中的远程函数被认为是功能性强和副作用低的框架。 仅限于远程函数的情况下,可以为我们提供分布式函数编程,这对于许多使用情况非常有用,但在实践中会受到一些限制。 Ray通过actor扩展了数据流模型。 一个actor本质上是一个有状态的worker(或service)。 ...

2018-05-17 16:16:35

阅读数:3919

评论数:1

DevC++ 上的ISO C++ 11开关,使用C++ 11新特性

用DevC++ 运行C++ 程序时,出现如下错误error This file requires compiler and library support for the ISO C++ 2011 standard. This support is currently experimental, ...

2018-05-14 20:14:22

阅读数:960

评论数:0

Scaling distributed machine learning with the parameter server

当今越来越多的机器学习系统都采用了分布式,在分布式领域里,少帅的第三代PS框架深受欢迎。本文是在研读论文“Scaling distributed machine learning with the parameter server”时,按照自己理解对其进行翻译,不免有很多细节不对之处,希望各位看官...

2018-05-04 21:40:27

阅读数:3804

评论数:0

Spark2.X 分布式弹性数据集

1. 三大弹性数据集介绍1)概念2)优缺点对比2. Spark RDD概述与创建方式1)概述    在集群背后,有一个非常重要的分布式数据架构,即弹性分布式数据集(resilientdistributed dataset,RDD),它是逻辑集中的实体,在集群中的多台机器上进行了数据分区。RDD是S...

2018-05-03 15:56:02

阅读数:1412

评论数:0

Linux-centos下 Spark2.X环境准备、编译部署及运行

1. Spark概述    Spark 是一个用来实现快速而通用的集群计算的平台。    在速度方面,Spark 扩展了广泛使用的 MapReduce 计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。 在处理大规模数据集时,速度是非常重要的。速度快就意味着我们可以进行交互式的数据操作...

2018-05-03 15:24:27

阅读数:1264

评论数:0

Linux-centos下安装hue可视化以及与hdfs、hive、hbase和mysql的集成

1. Hue概述及版本下载1)概述    Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集...

2018-05-03 14:30:44

阅读数:1523

评论数:0

Linux-centos下安装hbase

一、Hbase简介        HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。        HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文...

2018-05-02 21:04:00

阅读数:2008

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭