自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据训练营

大数据训练营

  • 博客(21)
  • 资源 (17)
  • 论坛 (7)
  • 收藏
  • 关注

转载 Presto 来自Facebook的开源分布式查询引擎

PrestoDB 来自Facebook的开源分布式查询引擎Presto是一个分布式SQL查询引擎, 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI SQL,包括复杂查询、聚合(aggregation)、连接(join)和窗口函数(window functions)。下图中展现了简化的Presto系统架构。客户端(client)将SQL查询发送到Presto的协调员 (

2017-03-31 20:42:44 6545

转载 理解垃圾回收算法

来自Atomic Object公司的Ken Fox为了解释各种垃圾回收算法,开发了一个小工具,用于对各种垃圾回收算法进行可视化演示。这个工具通过动画的形式展示了垃圾回收算法的执行过程,让人非常直观地了解这些复杂算法背后的原理。这篇文章最早由Ken Fox于2014年9月3号发表在Atomic Spin博客上,以下译文已获得源网站的翻译授权。原文链接“Visualizing Garbage

2017-03-31 20:27:26 6104

转载 Apache Kylin在唯品会大数据的应用, ROLAP解决方案

背景介绍引子:随着传统基于RDBMS的EDW往大数据的演进的过程中,Batch可处理的数据量越来越大,时间越来越快,但是Ad-hoc的响应速度却始终是大数据的瓶颈。在2015年 唯品会的数据分析碰到了以下两个瓶颈:第一是数据准备的流程长,第二是缺少合适数据提取和分析工具。首先,从数据准备流程来看,常见的流程是业务人员提出需求,BI同事定角度、找数据, 如果数据不完善,还得继

2017-03-31 19:16:26 7323

转载 Spark定制班第4课:Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握

本期内容1 Exactly Once2 输出不重复1 Exactly Once  事务:  银行转帐为例,A用户转笔账给B用户,如果B用户没收到账,或者收到多笔账,都是破坏事务的一致性。事务处理就是,能够处理且只会处理一次,即A只转一次,B只收一次。  从事务视角解密SparkStreaming架构:  S

2017-03-30 18:17:17 6155

转载 Spark定制班第3课:通过案例对SparkStreaming 透彻理解三板斧之三:解密SparkStreaming运行机制和架构进阶之Job和容错

本期内容1 Spark Streaming Job 架构和运行机制2 Spark Streaming Job 容错架构和运行机制1 Spark Streaming Job 架构和运行机制  理解Spark Streaming的Job的整个架构和运行机制对于精通Spark Streaming是至关重要的。  一 首先我们运行以下的程序,然后通过

2017-03-30 15:46:25 6178

转载 Spark定制班第2课:通过案例对Spark Streaming透彻理解三板斧之二:解密Spark Streaming运行机制和架构

本期内容:1 解密Spark Streaming运行机制2 解密Spark Streaming架构1 解密Spark Streaming运行机制        我们看看上节课仍没有停下来的Spark Streaming程序运行留下的信息。  这个程序仍然在不断地循环运行。即使没有接收到新数据,日志中也不断循环显示着JobScheduler、B

2017-03-30 15:20:15 6179

转载 Spark定制班第1课:通过案例对Spark Streaming透彻理解三板斧之一:解密Spark Streaming另类实验及Spark Streaming本质解析

从今天起,我们踏上了新的Spark学习旅途。我们的目标是要像Spark官方机构那样有能力去定制Spark。       我们最开始将从Spark Streaming入手。       为何从Spark Streaming切入Spark定制?Spark的子框架已有若干,为何选择Spark Streaming?让我们细细道来。       Spark最开始只有Spark Cor

2017-03-30 14:59:22 6579

转载 Spark的位置优先: TaskSetManager 的有效 Locality Levels

based on spark-1.5.1 standalone mode在Spark Application Web UI的 Stages tag 上,我们可以看到这个的表格,描述的是某个 stage 的 tasks 的一些信息,其中 Locality Level 一栏的值可以有 PROCESS_LOCAL、NODE_LOCAL、NO_PREF、RACK_LOCAL、ANY 几个值。这

2017-03-30 14:43:59 7610 2

转载 Kafka High Availability (下)

原创文章,转载请务必将下面这段话置于文章开头处。(已授权InfoQ中文站发布)本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3摘要  本文在上篇文章基础上,更加深入讲解了Kafka的HA机制,主要阐述了HA相关各种场景,如Broker failover,Controller failo

2017-03-29 18:46:55 5971

转载 Kafka High Availability (上)

Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说,尤其当集群规模上升到一定程度后,一台或者多台机器宕机的可能性大大提高,对Failover要求非常高。

2017-03-29 18:42:14 6245

转载 apache kafka配置中request.required.acks含义

Kafka producer的ack有3中机制,初始化producer时的producerconfig可以通过配置request.required.acks不同的值来实现。0:这意味着生产者producer不等待来自broker同步完成的确认继续发送下一条(批)消息。此选项提供最低的延迟但最弱的耐久性保证(当服务器发生故障时某些数据会丢失,如leader已死,但producer并不知情

2017-03-29 10:31:13 9206

转载 Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式

Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式,可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列,Direct方式是直接连接到kafka的节点上获取数据了。一、基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现

2017-03-18 23:46:23 6450

转载 Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据

Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据,前端数据通过 kafka队列传递,外层还有flume的实时收集。1、mvn构建工程,指定好依赖的库,这里用的是spark1.4.1[html] view plain copyproject xmlns="http://mav

2017-03-18 23:45:00 6490

转载 Spark机器学习数据流水线

关键点:了解机器学习数据流水线有关内容。怎么用Apache Spark机器学习包来实现机器学习数据流水线。数据价值链处理的步骤。Spark机器学习流水线模块和API。文字分类和广告检测用例。在之前的“用Apache Spark做大数据处理”系列文章中,我们学习了Apache Spark框架,介绍了Spark和它用作大数据处理的不同库(第一部分),Spark

2017-03-14 16:27:00 9861 3

原创 阿里巴巴大规模电商推荐系统应用经验分享

视频+ppt地址 : http://www.infoq.com/cn/presentations/sharing-recommendation-system-application-experience

2017-03-13 18:46:06 6974

转载 如何从零构建实时的个性化推荐系统?

【作者简介:刈刀(程君杰),曾就职于阿里巴巴移动事业部,数据技术专家。主要负责业务数据分析挖掘系统架构和设计,包括大规模数据采集、分析处理、数据挖掘、数据可视化、高性能数据服务等。】前言在移动互联网迅速发展的今天,信息量爆发性增长,人们获取信息的途径越来越多,如何从大量的信息中获取我们想要的内容,成为了推荐系统研究的重点。 随着大数据产业的不断壮大,推荐系统在企业也越来越重要,从亚马逊

2017-03-13 18:28:34 13576 1

转载 如何从零构建实时的个性化推荐系统?

现在网上到处都有推荐。亚马逊等主流电子商务网站根据它们的页面属性以各种形式向用户推荐产品。Mint.com之类的财务规划网站为用户提供很多 建议,比如向用户推荐他们可能想要办理的信用卡,可以提供更好利率的银行。谷歌根据用户搜索历史记录的信息优化搜索结果,找到相关性更高的结果。这些知名公司使用推荐提供情境化的、有相关性的用户体验,以提高转化率和用户满意度。这些建议原来

2017-03-13 17:55:14 9738

转载 实时推荐系统的3种方式

推荐系统介绍自从1992年施乐的科学家为了解决信息负载的问题,第一次提出协同过滤算法,个性化推荐已经经过了二十几年的发展。1998年,林登和 他的同事申请了“item-to-item”协同过滤技术的专利,经过多年的实践,亚马逊宣称销售的推荐占比可以占到整个销售GMV(Gross Merchandise Volume,即年度成交总额)的30%以上。随后Netflix举办的推荐算法优化竞赛

2017-03-13 17:53:23 7150

转载 kiji 快速理解

作者:刘旭晖 Raymond 转载请注明出处Email:colorant at 163.comBLOG:http://blog.csdn.net/colorant/更多云计算相关项目快速理解文档  http://blog.csdn.NET/colorant/article/details/8255910==是什么 == 目标Scope(解

2017-03-13 16:26:59 6143

转载 基于Spark MLlib平台的协同过滤算法---电影推荐系统

又好一阵子没有写文章了,阿弥陀佛...最近项目中要做理财推荐,所以,回过头来回顾一下协同过滤算法在推荐系统中的应用。    说到推荐系统,大家可能立马会想到协同过滤算法。本文基于Spark MLlib平台实现一个向用户推荐电影的简单应用。其中,主要包括三部分内容:协同过滤算法概述基于模型的协同过滤应用---电影推荐实时推荐架构分析

2017-03-09 23:25:32 6442

转载 Scala详解---------快速入门Scala

我无可救药地成为了Scala的超级粉丝。在我使用Scala开发项目以及编写框架后,它就仿佛凝聚成为一个巨大的黑洞,吸引力使我不得不飞向它,以至于开始背离Java。固然Java 8为Java阵营增添了一丝亮色,却是望眼欲穿,千呼万唤始出来。而Scala程序员,却早就在享受lambda、高阶函数、trait、隐式转换等带来的福利了。Java像是一头史前巨兽,它在OO的方向上几乎走到了极致,硬将

2017-03-07 22:49:56 7705

酒店管理系统-毕业设计

酒店管理系统毕业设计,基本的功能,免费下载喔

2014-05-12

MahoutInAction中文版啦word版

MahoutInAction中文版啦word版 免费的喔

2014-03-22

hbase-0.90.5下载

hbase-0.90.5.tar.gz 分布式列式数据库 基于hadoop 的hdfs文件系统 hbase-0.90.5.tar.gz下载

2013-09-30

dotnetFx4.0fullx86x64

.net4.0框架

2013-09-30

hadoop-0.20.2.tar.gz下载

hadoop-0.20.2.tar.gz下载

2013-09-30

AjaxControlToolkit.Binary.NET4官网完整版

AjaxControlToolkit.Binary.NET4 官网完整版 免费下载 《幽灵工作室》提供

2013-06-20

oracle 10g SQL Reference

oracle 10g SQL Reference

2013-05-14

C#语言c/结构酒店管理系统_幽灵工作室提供

本系统是c/s结构的酒店管理系统 提供了系统的源码,图片,还有数据库文件 详细: 项目名称:酒店管理系统 开发方式:个人开发 开发环境:Windows 7 开发工具:Visual Studio 2010 SqlServer Management Studio 开发技术:WinForm应用系统开发 项目结构:C –S结构 数据库:SqlServer 2008 开发技术:C#、WinForm、ADO.NET 开发周期:两周,按时完成 项目描述:项目整体分为权限模块,普通用户模块和管理员模块。1.权限模块的数据库中有用户表和角色表,权限模块有用户登陆,用户修改密码,用户修改角色,用户的添加和删除功能。2.普通用户模块的数据库中有客户表和客户类型的表,普通用户模块有房间入住信息管理,可以管理房间状态,管理房间入住信息,有客户入住信息管理,可以查看入住客户信息,筛选入住客户信息,给具体某个客户增加消费,以房间为单位给用户结账。3.管理员模块的数据库中有房间表,楼层表,房间类型表,房间状态表,管理员模块具有房间信息管理,楼层信息管理,房间状态信息管理,房间类型信息管理,可以对房间,房间状态,房间类型,楼层进行增删改查,还具有修改用户角色和用户密码,添加用户的功能。

2013-05-12

consul_1.6.1_darwin_amd64.zip

consul_1.6.1_darwin_amd64.zip for mac

2019-09-26

SonarLint-3.5-for-intellj-idea-亲测好使.zip

SonarLint-3.5-for-intellj-idea-亲测好使 解压,直接打开idea的preferences,选择plugins,选择下面的install plugin form disk,选择文件SonarLint-3.5.1.2759.zip,完成安装即可

2019-08-09

spark-2.3.3-bin-hadoop2.6.tgz

spark-2.3.3-bin-hadoop2.6.tgz

2019-07-05

spark-2.3.3-bin-hadoop2.6.tgz

spark-2.3.3-bin-hadoop2.6.tgz

2019-07-05

geckodriver-v0.24.0-macos火狐插件

geckodriver-v0.24.0-macos火狐插件,帮助selenium

2019-04-05

draw.io mac版 非常好用的画图软件

draw.io非常好用的画图软件 支持各种图 mac版本 非常好

2019-01-21

mac jd-gui.app版本jd-gui-osx-1.4.0

mac jd-gui.app版本jd-gui-osx-1.4.0 亲自测试 可以使用的

2019-01-21

avro-tool-1.7.4.jar下载

avro-tool-1.7.4.jar下载,avro下载,国内下载超级慢啦

2017-03-13

openstack超级源码

openstack超级源码

2015-01-15

rolin-刘瑞的留言板

发表于 2020-01-02 最后回复 2020-01-02

asp.net中的Newtonsoft.Json.dll 是干什么的呀

发表于 2013-05-29 最后回复 2015-04-20

c#连接oracle数据库时执行更新操作无效?

发表于 2013-05-27 最后回复 2013-10-26

哪里有asp.net的PI-SDK下载呀?

发表于 2013-07-31 最后回复 2013-07-31

.net framework 3.5下开发的项目向.net framework 4.0下移植出现错误

发表于 2013-07-01 最后回复 2013-07-11

vs2010调试的时候出现service unavailable提示,部署后就不提示了

发表于 2013-07-01 最后回复 2013-07-01

C#连接oracle时,无法引用using system.data.oracleclient,在项目的引用上添加引用的时候,也是找不到这个引用

发表于 2013-05-26 最后回复 2013-05-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除