自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 Kafka的三种消费模式

自动提交offset     以下实例代码展示了如何自动提交topic的offset:public void autoOffsetCommit() {    Properties props = new Properties();    props.put("bootstrap.servers", "localhost:9092");    props.put("group.i...

2017-06-01 15:44:19 3673

原创 配置MapReduce内存

1. Container内存使用的监控       NodeManager作为Yarn运行中的一个守护进程,其中一个职责是监控运行在节点上的container,通常包含每个容器的内存使用。        为监控容器的内存使用情况,在Yarn的配置文件yarn-site.xml中配置yarn.nodemanager.container-monitor.interval-ms属性遍历当前正在...

2016-12-29 16:55:21 954

原创 Ubuntu下idea如何中文输入

最近在ubuntu16.04上使用idea,可是无法输入中文,经测试,在idea的bin目录下idea.sh文件中添加如下两行可以解决中文无法输入的问题:export XMODIFIERS=@im=fcitxexport QT_IM_MODULE=fcitx...

2016-07-15 18:56:37 493

原创 spark资源分配优化

资源参数调优  了解完了Spark作业运行的基本原理之后,对资源相关的参数就容易理解了。所谓的Spark资源参数调优,其实主要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数,来优化资源使用的效率,从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数,每个参数都对应着作业运行原理中的某个部分,我们同时也给出了一个调优的参考值。num-executors...

2016-05-23 09:10:02 621

原创 spark shuffle的部分优化参数说明

以下是Shffule过程中的一些主要参数,这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。spark.shuffle.file.buffer  1、默认值:32k  参数说明:该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前,会先写入buffer缓冲中,待缓冲写满之后,才会溢写到...

2016-05-20 11:37:17 209

原创 spark的部分配置参数

spark.executor.num=3spark.executor.cores=4spark.executor.memory=2gspark.shuffle.compress=truespark.storage.memoryFraction=0.3spark.yarn.executor.memoryOverhead=768spark.shuffle.memoryFrac...

2016-05-17 09:49:46 144

原创 hdfs ha的操作步骤

       hadoop的ha操作流程,本操作是利用ambari完成,如果不是使用ambari,可以参考,要保证其中命令的执行顺序。如果是手动安装hadoop的ha时,可以参考以下执行的命令,但是要保证命令执行的顺序。        hadoop2.0以后的版本支持HA,如图安装HDFS的HA,保证节点在三个以上。       1. 安装流程从下图开始:     2....

2016-05-09 16:07:20 273

原创 hadoop namenode safe mode

如果在使用hadoop集群中出现namenode处于safemode错误提示时,使用以下命令解除namenode的safemode模式:$HADOOP_HOME/bin/hadoop dfsadmin -safemode leave

2016-05-09 15:12:27 138

原创 Hive优化的五种方式

hive执行优化:1. 使用tez[code language=”SQL”]set hive.execution.engine=tez;[/code]设置以上属性后,每次hive查询都会利用tez执行任务。2. 使用ORCFile存储数据Hive支持ORCFile, [code language=”SQL”] CREATE TABLE A_ORC (...

2016-03-14 16:14:20 601

原创 hadoop ha出现namenode全部为standby状态

1. 停止主备节点上的namenode2. 删除namenode和datanode上的data目录3. 在主节点上重新格式化namenode4. 启动journalnode节点:hadoop-daemon.sh start journalnode5. 启动备份节点的namenode:hadoop-daemon.sh start namenode5. 格式化ZKFC:sh bin...

2015-04-14 12:35:17 703

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除