自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 资源 (4)
  • 论坛 (33)
  • 收藏
  • 关注

转载 MR 切片机制 & MR全流程

1、概念  2、Split机制 3、MR Shuffle过程4、MR中REDUCE与MAP写作过程  5、MR全貌

2016-10-23 17:12:36 4298

转载 Spark Streaming 数据接收优化

Spark Streaming 数据接收优化字数570 阅读1206 评论1 喜欢5看这篇文章前,请先移步Spark Streaming 数据产生与导入相关的内存分析, 文章重点讲的是从Kafka消费到数据进入BlockManager的这条线路的分析。这篇内容是个人的一些经验,大家用的时候还是建议好好理解内部的原理,不可照搬让Receiver均匀的分布到你的Ex

2016-10-10 20:26:47 1389

转载 Spark Streaming 数据产生与导入相关的内存分析

Spark Streaming 数据产生与导入相关的内存分析字数1430 阅读2128 评论3 喜欢10前言我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。一个大致的数据接受流程一些存储结构的介绍哪些点可能导致内存问题,以及相关的配置参数另外,有位大牛写了Spark Streaming 源码解析系列,我觉得写

2016-10-10 20:25:40 301

转载 Hive 设置map 和 reduce 的个数

一、    控制hive任务中的map数: 1.    通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改);2.    举例: a)    假设input目录下有

2016-10-09 17:07:41 726 1

转载 使用 FileSystem JAVA API 对 HDFS 进行读、写、删除等操作

使用 FileSystem JAVA API 对 HDFS 进行读、写、删除等操作 分类:MapReduce(67) Hadoop文件系统 基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。 Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件

2016-10-09 15:28:27 744

原创 hive count(*)问题处理

现象:在Hive 中执行select语句,在生产环境正常,而测试环境select count(*) ,并且测试环境中直接非聚合select  语句也正常处理:在控制错误非常简单,直接返回2错误代码。到yarn 资源管理器中查看,好像资源不足的原因 。开始想到hive 参数,对生产环境和测试环境的hive 配置文件进行对比,没有发现异常。接着考虑的yarn 资源分配的问题,查看yarn 资源配置

2016-10-05 19:29:58 7396

转载 Hadoop中的几种文件格式

Hadoop中的几种文件格式发表于2016/8/1 19:50:28  241人阅读分类: HadoopHadoop中的文件格式大致上分为面向行和面向列两类:面向行:同一行的数据存储在一起,即连续存储。SequenceFile,MapFile,Avro Datafile。采用这种方式,如果只需要访问行的一小部分数据,亦需要将整行读入内存,推迟序列化一

2016-10-05 17:01:54 4786

转载 Yarn 内存分配管理机制及相关参数配置

Yarn 内存分配管理机制及相关参数配置理解Yarn的内存管理与分配机制,对于我们搭建、部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考。关于Yarn的详细介绍请参考【Hadoop Yarn详解】一、相关配置情况关于Yarn内存分配与管理,主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几

2016-10-05 15:56:31 894

2007年下半年系统分析师考试试题分析.doc

2007年下半年系统分析师考试试题分析.doc

2007-11-21

2007年下半年系统分析师上午试卷.doc

2007年下半年系统分析师上午试卷.doc

2007-11-21

2007年下半年系统分析师下午试卷Ⅰ.doc

2007年下半年系统分析师下午试卷Ⅰ.doc

2007-11-21

2007年下半年系统分析师下午试卷Ⅱ.doc

2007年下半年系统分析师下午试卷Ⅱ.doc

2007-11-21

javastart的留言板

发表于 2020-01-02 最后回复 2020-03-08

struts 2 的 select 问题 请指教

发表于 2008-05-04 最后回复 2008-05-20

求助:服务启动失败,ISQL*PLUS怎样以SYS进行连接到指定的数据库?

发表于 2006-10-10 最后回复 2006-10-12

请教:入门问题:NET MANAGER配置的服务器名称问题

发表于 2006-08-15 最后回复 2006-08-30

请问;jdk帮助文档中怎么查找关键字(如+,_,for)

发表于 2006-07-13 最后回复 2006-07-20

请教问题啊:Eclipse3.1退出无缘无故退出

发表于 2006-05-08 最后回复 2006-05-22

各位大侠:MyEclipse 中如何单步调试JSP

发表于 2006-03-13 最后回复 2006-03-16

我安装JBUILDER2006,我启动TOMCAT后,http://localhost:8080/admin/为何打不开?请指教

发表于 2006-01-10 最后回复 2006-01-20

2005 sqlserver 中 VARCHAR在查询分析器怎吗不变为兰色?请大侠帮忙看看

发表于 2005-10-22 最后回复 2005-11-24

SqlCommand的问题,初学者。谢谢指导

发表于 2005-03-22 最后回复 2005-03-23

请问:我载visio中的选择宋体时,将其复制到WORD中,文字怎么变成了?;请指点 谢谢

发表于 2004-11-20 最后回复 2005-01-18

请问:我载visio中的选择宋体时,将其复制到WORD中,文字怎么变成了?;请指点 谢谢

发表于 2004-11-20 最后回复 2004-11-21

c# web 中连接数据库问题,请各位指点,谢谢

发表于 2004-09-09 最后回复 2004-09-09

数据多表连接问题,请指教

发表于 2004-09-01 最后回复 2004-09-04

我们刚开始使用VSS,服务器上已有我的用户,可是还是提示无权限?谢谢指点

发表于 2004-07-27 最后回复 2004-07-27

powerdesigner9.0工具讨论

发表于 2004-03-23 最后回复 2004-03-24

求救:连接服务在作业里不能使用

发表于 2004-02-20 最后回复 2004-02-20

为何menu.htm 的扩展名该为.jsp时为何出现编译错误

发表于 2004-01-30 最后回复 2004-01-30

请教: 我想在一个编辑框中当前的光标位置通过程序插入字符

发表于 2003-12-17 最后回复 2003-12-17

jbuilder 9.0安装问题

发表于 2003-10-30 最后回复 2003-11-01

请教 pb的string 的数据类型和ms sql的varchar的数据类型的问题

发表于 2003-10-29 最后回复 2003-10-29

pb8.0-9.0获取指定目录下的所有的文件和目录

发表于 2003-10-23 最后回复 2003-10-23

陕西省从2003年起系统分析员直接确认为高工

发表于 2003-10-13 最后回复 2003-10-13

怎样才能远程备份数据库

发表于 2003-09-29 最后回复 2003-09-30

请教 使用trigger一行的一个字段引用上一行的一个字段值

发表于 2003-09-17 最后回复 2003-09-18

计算机密码修改后,sql不能启动-请大虾指点

发表于 2003-09-04 最后回复 2003-09-04

高手请指教:jsp中怎样引用javascript的变量

发表于 2003-07-02 最后回复 2003-07-03

菜鸟:请问高手select组件在form提交后获得所有项

发表于 2003-06-28 最后回复 2003-06-28

湖南醴陵花炮厂爆炸系人为制造 死者有重大嫌疑

发表于 2003-06-28 最后回复 2003-06-28

菜鸟问题:有两个select 组件选择一个的一项自动增加到另一个里面

发表于 2003-06-27 最后回复 2003-06-27

菜鸟:select 组件自动增加项数

发表于 2003-06-27 最后回复 2003-06-27

求救:oracle的jdbc的问题

发表于 2003-06-20 最后回复 2003-06-20

求救:jsp树状视图原代码

发表于 2003-06-19 最后回复 2003-06-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除