自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 资源 (4)
  • 论坛 (33)
  • 收藏
  • 关注

转载 什么是用户画像?金融行业大数据用户画像实践 [

什么是用户画像?金融行业大数据用户画像实践 [复制链接]  丫丫98主题128帖子674积分超级版主积分674收听TA发消息电梯直达

2015-10-27 08:07:31 8418 1

转载 Alex 的 Hadoop 菜鸟教程: 第7课 Sqoop2 导入教程

Alex 的 Hadoop 菜鸟教程: 第7课 Sqoop2 导入教程时间 2014-11-26 17:13:36 CSDN博客原文  http://blog.csdn.net/nsrainbow/article/details/41518451 主题 数据库 HadoopHDFS具体的安装和jdbc的驱动准备你们看第6课。现在我用一个例子讲

2015-10-06 15:32:15 1296

转载 Spark性能调优

摘要:通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。性能监控工具【Spark监控工具】Spark提供了一些基本的Web监控页面,对于日常监控十分有用。1. Application Web UI

2015-10-04 13:14:02 2585

转载 spark中的SparkContext的textFile使用的小窍门

网上很多例子,包括官网的例子,都是用textFile来加载一个文件创建RDD,类似sc.textFile("hdfs://ss:8020/hdfs/input")textFile的参数是一个path,这个path可以是:1. 一个文件路径,这时候只装载指定的文件2. 一个目录路径,这时候只装载指定目录下面的所有文件(不包括子目录下面的文件)3. 通过通配符的形式加载多个文件或者

2015-10-04 11:05:34 5446

转载 Hadoop YARN架构设计要点

Hadoop YARN架构设计要点2015-06-01 22:57:15  YanjunYARN是开源项目Hadoop的一个资源管理系统,最初设计是为了解决Hadoop中MapReduce计算框架中的资源管理问题,但是现在它已经是一个更加通用的资源管理系统,可以把MapReduce计算框架作为一个应用程序运行在YARN系统之上,通过YARN来管理资源。如果你的应用程序也需要

2015-10-04 10:43:42 884

转载 TDW千台Spark千亿节点对相似度计算

TDW千台Spark千亿节点对相似度计算2014-11-16分类:TDW         相似度计算在信息检索、数据挖掘等领域有着广泛的应用,是目前推荐引擎中的重要组成部分。随着互联网用户数目和内容的爆炸性增长,对大规模数据进行相似度计算的需求变得日益强烈。在传统的MapReduce框架下进行相似度计算会引入大量的网络开销,导致性能低下。我们借助于Spark

2015-10-03 11:21:12 623

转载 spark on yarn运行产生缺jar包错误及解决办法

spark on yarn运行产生缺jar包错误及解决办法2014-12-10 19:57:44http://blog.csdn.net/mach_learn/article/details/41824737--点击数: 12461、本地运行出错及解决办法当运行如下命令时:./bin/spark-submit /--class org

2015-10-03 11:14:52 2387

转载 Spark源码系列(七)Spark on yarn具体实现

Spark源码系列(七)Spark on yarn具体实现  作者 岑玉海的博客,火龙果软件    发布于 2014-11-11来自于要资料   909 次浏览    评价: 好 中 差        本来不打算写的了,但是真的是闲来无事,整天看美

2015-10-03 11:13:12 628

转载 Spark On YARN内存分配

Spark On YARN内存分配时间 2015-06-09 00:00:00 JavaChen's Blog原文  http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 主题 Spark YARN本文主要了解Spark On YARN部署模式下的内存分配情况,因为没有深

2015-10-03 11:08:48 11425

转载 教你如何查看识别hadoop是32位还是64位

问题导读:1.从哪些地方可以识别hadoop是32位还是64位?2.hadoop本地库在什么位置?hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。hadoop官网本来提供的都是32位,因为我们大部分都是64位,所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。为了防止我们用错,下面我们来实际操作和观察。

2015-10-03 10:01:23 1765

原创 spark 日志分析

spark 运行日志分析1.问题:一直在运行的spark 运行时,发现数据应该690多万,而只有610多万,控制台日志正常。异常出现异常时,在控制台中日志正常。怎样查找这个错误异常日志2.处理:由于数据量比较大计算一次需要30多分钟,因此在运行采用二分进行原因分析,最后确定是9.17日的数据,然后在开发环境进行,发现 java.lang.ArrayIndexOutOfBoundsExcep

2015-10-03 09:31:37 3571

转载 许鹏:从零开始学习,Apache Spark源码走读(三)

许鹏:从零开始学习,Apache Spark源码走读(三)发表于2014-06-18 18:30| 17149次阅读| 来源个人博客| 24 条评论| 作者许鹏大数据Spark开源技术博客推荐 摘要:自2013年6月进入Apache孵化器,Spark已经有来自25个组织的120多位开发者参与贡献。而在不久前,更成为了Apache软件基金会的顶级项目,当下已是知名Hado

2015-10-02 16:09:31 1011

2007年下半年系统分析师考试试题分析.doc

2007年下半年系统分析师考试试题分析.doc

2007-11-21

2007年下半年系统分析师上午试卷.doc

2007年下半年系统分析师上午试卷.doc

2007-11-21

2007年下半年系统分析师下午试卷Ⅰ.doc

2007年下半年系统分析师下午试卷Ⅰ.doc

2007-11-21

2007年下半年系统分析师下午试卷Ⅱ.doc

2007年下半年系统分析师下午试卷Ⅱ.doc

2007-11-21

javastart的留言板

发表于 2020-01-02 最后回复 2020-03-08

struts 2 的 select 问题 请指教

发表于 2008-05-04 最后回复 2008-05-20

求助:服务启动失败,ISQL*PLUS怎样以SYS进行连接到指定的数据库?

发表于 2006-10-10 最后回复 2006-10-12

请教:入门问题:NET MANAGER配置的服务器名称问题

发表于 2006-08-15 最后回复 2006-08-30

请问;jdk帮助文档中怎么查找关键字(如+,_,for)

发表于 2006-07-13 最后回复 2006-07-20

请教问题啊:Eclipse3.1退出无缘无故退出

发表于 2006-05-08 最后回复 2006-05-22

各位大侠:MyEclipse 中如何单步调试JSP

发表于 2006-03-13 最后回复 2006-03-16

我安装JBUILDER2006,我启动TOMCAT后,http://localhost:8080/admin/为何打不开?请指教

发表于 2006-01-10 最后回复 2006-01-20

2005 sqlserver 中 VARCHAR在查询分析器怎吗不变为兰色?请大侠帮忙看看

发表于 2005-10-22 最后回复 2005-11-24

SqlCommand的问题,初学者。谢谢指导

发表于 2005-03-22 最后回复 2005-03-23

请问:我载visio中的选择宋体时,将其复制到WORD中,文字怎么变成了?;请指点 谢谢

发表于 2004-11-20 最后回复 2005-01-18

请问:我载visio中的选择宋体时,将其复制到WORD中,文字怎么变成了?;请指点 谢谢

发表于 2004-11-20 最后回复 2004-11-21

c# web 中连接数据库问题,请各位指点,谢谢

发表于 2004-09-09 最后回复 2004-09-09

数据多表连接问题,请指教

发表于 2004-09-01 最后回复 2004-09-04

我们刚开始使用VSS,服务器上已有我的用户,可是还是提示无权限?谢谢指点

发表于 2004-07-27 最后回复 2004-07-27

powerdesigner9.0工具讨论

发表于 2004-03-23 最后回复 2004-03-24

求救:连接服务在作业里不能使用

发表于 2004-02-20 最后回复 2004-02-20

为何menu.htm 的扩展名该为.jsp时为何出现编译错误

发表于 2004-01-30 最后回复 2004-01-30

请教: 我想在一个编辑框中当前的光标位置通过程序插入字符

发表于 2003-12-17 最后回复 2003-12-17

jbuilder 9.0安装问题

发表于 2003-10-30 最后回复 2003-11-01

请教 pb的string 的数据类型和ms sql的varchar的数据类型的问题

发表于 2003-10-29 最后回复 2003-10-29

pb8.0-9.0获取指定目录下的所有的文件和目录

发表于 2003-10-23 最后回复 2003-10-23

陕西省从2003年起系统分析员直接确认为高工

发表于 2003-10-13 最后回复 2003-10-13

怎样才能远程备份数据库

发表于 2003-09-29 最后回复 2003-09-30

请教 使用trigger一行的一个字段引用上一行的一个字段值

发表于 2003-09-17 最后回复 2003-09-18

计算机密码修改后,sql不能启动-请大虾指点

发表于 2003-09-04 最后回复 2003-09-04

高手请指教:jsp中怎样引用javascript的变量

发表于 2003-07-02 最后回复 2003-07-03

菜鸟:请问高手select组件在form提交后获得所有项

发表于 2003-06-28 最后回复 2003-06-28

湖南醴陵花炮厂爆炸系人为制造 死者有重大嫌疑

发表于 2003-06-28 最后回复 2003-06-28

菜鸟问题:有两个select 组件选择一个的一项自动增加到另一个里面

发表于 2003-06-27 最后回复 2003-06-27

菜鸟:select 组件自动增加项数

发表于 2003-06-27 最后回复 2003-06-27

求救:oracle的jdbc的问题

发表于 2003-06-20 最后回复 2003-06-20

求救:jsp树状视图原代码

发表于 2003-06-19 最后回复 2003-06-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除