自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 什么是用户画像?金融行业大数据用户画像实践 [

什么是用户画像?金融行业大数据用户画像实践  [复制链接]     丫丫 98 主题 128 帖子 674 积分 超级版主 积分 674 收听TA 发消息 电梯直达

2015-10-27 08:07:31 7646 1

转载 Alex 的 Hadoop 菜鸟教程: 第7课 Sqoop2 导入教程

Alex 的 Hadoop 菜鸟教程: 第7课 Sqoop2 导入教程 时间 2014-11-26 17:13:36 CSDN博客 原文  http://blog.csdn.net/nsrainbow/article/details/41518451 主题 数据库 Ha...

2015-10-06 15:32:15 1207 0

转载 Spark性能调优

摘要:通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。 通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。 性能监控工具 【Spark监控工具】 Spark提供了一...

2015-10-04 13:14:02 2518 0

转载 spark中的SparkContext的textFile使用的小窍门

网上很多例子,包括官网的例子,都是用textFile来加载一个文件创建RDD,类似sc.textFile("hdfs://ss:8020/hdfs/input") textFile的参数是一个path,这个path可以是: 1. 一个文件路径,这时候只装载指定的文件 2. 一...

2015-10-04 11:05:34 3777 0

转载 Hadoop YARN架构设计要点

Hadoop YARN架构设计要点 2015-06-01 22:57:15    Yanjun YARN是开源项目Hadoop的一个资源管理系统,最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但是现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算...

2015-10-04 10:43:42 833 0

转载 TDW千台Spark千亿节点对相似度计算

TDW千台Spark千亿节点对相似度计算 2014-11-16分类:TDW           相似度计算在信息检索、数据挖掘等领域有着广泛的应用,是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长,对大规模数据进行相似度计算的需求变得日益强烈。...

2015-10-03 11:21:12 576 0

转载 spark on yarn运行产生缺jar包错误及解决办法

spark on yarn运行产生缺jar包错误及解决办法 2014-12-10 19:57:44http://blog.csdn.net/mach_learn/article/details/41824737--点击数: 1246 1、本地运行...

2015-10-03 11:14:52 2235 0

转载 Spark源码系列(七)Spark on yarn具体实现

Spark源码系列(七)Spark on yarn具体实现   作者 岑玉海的博客,火龙果软件    发布于 2014-11-11 来自于要资料   909 次浏览     评价: 好 中 差       ...

2015-10-03 11:13:12 573 0

转载 Spark On YARN内存分配

Spark On YARN内存分配 时间 2015-06-09 00:00:00 JavaChen's Blog 原文  http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 主题 S...

2015-10-03 11:08:48 10178 0

转载 教你如何查看识别hadoop是32位还是64位

问题导读: 1.从哪些地方可以识别hadoop是32位还是64位? 2.hadoop本地库在什么位置? hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。 hadoop官网本来提供的都是32位,因为我们大部分都是64位,所以不得不编译。后...

2015-10-03 10:01:23 1686 0

原创 spark 日志分析

spark 运行日志分析 1.问题:一直在运行的spark 运行时,发现数据应该690多万,而只有610多万,控制台日志正常。异常出现异常时,在控制台中日志正常。怎样查找这个错误异常日志 2.处理:由于数据量比较大计算一次需要30多分钟,因此在运行采用二分进行原因分析,最后确定是9.17日的数...

2015-10-03 09:31:37 3427 0

转载 许鹏:从零开始学习,Apache Spark源码走读(三)

许鹏:从零开始学习,Apache Spark源码走读(三) 发表于2014-06-18 18:30| 17149次阅读| 来源个人博客| 24 条评论| 作者许鹏 大数据Spark开源技术博客推荐 摘要:自2013年6月进入Apache孵化器,Spark已经有来自25个组织...

2015-10-02 16:09:31 968 0

提示
确定要删除当前文章?
取消 删除