败八

采菊东篱下,悠然现南山

Kubernetes Informer 详解

  Informer 简介 Informer 基础功能 Informer 是 Client-go 中的一个核心工具包。在 Kubernetes 源码中,如果 Kubernetes 的某个组件,需要 List/Get Kubernetes 中的 Object,在绝大多 数情况下,会直接使用 I...

2018-11-07 20:51:27

阅读数 66

评论数 0

calico 架构及跨节点通信原理介绍

背景及calico简介 为了搞定 AI on k8s的网络环境,即夸节点容器通信的问题,在k8s多个网路解决方案中选择了延迟表现最好的-calico方案,本文主要介绍calico 架构、组件及网络通信原理,更多的细节在之后的文章中分享。 Calico是一个纯3层的数据中心网络方案,而且无缝集成像O...

2018-11-03 20:13:31

阅读数 1068

评论数 0

docker系列文章-基于centos7的docker ce 安装教程

目录 一、背景 二、centos7 上docker 安装及配置说明 1.添加docker yum 源  2.选择docker版本 3.docker安装 4.docker配置 三、docker 常用操作   1. docker 启动、停止及配置reload  2. 检查docker...

2018-10-31 23:45:05

阅读数 100

评论数 0

docker 系列文章-docker 介绍

目录   一、docker 是什么 二、docker中的基本概念 三、reference 一、docker 是什么 Docker 最初是 dotCloud 公司创始人 Solomon Hykes 在法国期间发起的一个公司内部项目,它是基于 dotCloud 公司多年云服务技术的一次革新...

2018-10-20 11:10:20

阅读数 97

评论数 0

mr 问题

Maptask 超时问题(1) 1.Maptask超时问题情况描述 某个maptask重试四次后导致job失败,失败原因就是task超时,如下: ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 s...

2018-09-15 16:48:21

阅读数 76

评论数 0

SPARK task执行与资源分配的关系

SPARK task执行与资源分配的关系问题背景执行spark某个sparkjob申请的资源是150个Executor,但是直至job执行结束(大约30多分钟),分配给该job的Executor个数是49个; 该job正常试行时间大约是14分钟,但由于此次分配该job的Executor个数少于1...

2016-11-14 14:52:29

阅读数 3259

评论数 0

maptask 超时问题 Timed out after 600 secs

Maptask 超时问题(1) 1.Maptask超时问题情况描述 某个maptask重试四次后导致job失败,失败原因就是task超时,如下: ` AttemptID:attempt_1470311300058_6506513_m_000010_0 Timed out after 600 s...

2016-11-09 21:55:21

阅读数 4218

评论数 0

markdown reference , not open

2016-11-09 16:15:56

阅读数 193

评论数 0

spark sql error mark

java.lang.OutOfMemoryError: Direct buffer memory at java.nio.Bits.reserveMemory(Bits.java:658) at java.nio.DirectByteBuffer.(DirectByteBuffer.java:...

2016-11-08 11:33:26

阅读数 587

评论数 0

Spark-sql Join优化=>(cache+BroadCast)

Spark-sql Join优化背景   spark-sql或者hive-sql 很多业务场景都会有表关联的的操作,在hive中有map side join优化,对应的在spark-sql中也有map side join。spark中如果在参与join的表中存在小表,可以采用cache bro...

2016-10-29 14:23:05

阅读数 3906

评论数 1

Yarn shuffle OOM错误分析及解决

  Reference: 最近再补mapreduce相关的知识,该片文章引用同事前辈大宇神的博客文章!                     http://dj1211.com/?p=358                      大家也可以没事看看他别文章,都写得不错!!! -----...

2016-10-26 13:40:18

阅读数 503

评论数 0

Yarn的架构及原理基础

  1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceMana...

2016-10-26 09:56:04

阅读数 304

评论数 0

yarn LocalResourcesTrackerImpl remove resource Error

1. NM异常日志 (/data0/hadoop/log/yarn/yarn-mapred-nodemanager-yz5202.hadoop.data.sina.com.cn.log)   ERROR org.apache.hadoop.yarn.server.node...

2016-10-25 11:42:05

阅读数 1256

评论数 0

Spark-2.x 编译构建及配置安装

Spark-2.x 编译构建及配置安装 0. Spark-2.x 编译环境准备 编译服务器:ip 编译目录:/data10/spark/ 1. Spark-2.x编译 a. note:提高Maven编译时的堆内存大小,防止编译过程中产生OOM异常,相关命令如下: export ...

2016-10-24 14:08:36

阅读数 3952

评论数 0

基于common-fileupload实现文件上传

同事项目中可能用到基于servlet的上传,给他写了个Demo 1.依赖的jar包    commons-fileupload-1.2.2.jar     commons-io-2.2.jar     servlet-api-2.4.jar 2.项目源码     servlet的实现类Fi...

2016-05-12 13:47:23

阅读数 251

评论数 0

elasticsearch-ThreadPool源码

1.ES的线程池类型   ThreadPool的内部类Names定义了ES线程池的所有类型,如下所示。利用静态类定义线程名称,类似于枚举 public static class Names { public static final String SAME = "...

2016-05-10 16:46:59

阅读数 878

评论数 0

查看jar包文件、更新jar包文件

1.查看jar包文件 jar vtf hdfstoes.jar | grep xxx 2.更新jar包文件 替换或增加jar包根目录下文件 java uvf hdfstoes.jar field.properties 替换或增加jar包深层目录下文件 ...

2016-05-10 15:41:35

阅读数 552

评论数 0

MapReduce job Shuffle 过程的ERROR

1.错误描述 error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#43 at org.apache.hadoop.mapreduce.task.reduce...

2016-04-13 19:25:37

阅读数 919

评论数 0

依赖注入及Guice简述

1.研究Guice的缘由       上学期间一直搞javaweb,Spring的用了不少,一直使用Spring的依赖注入,没有接触guice,工作之后研究elasticsearch,它采用的guice作为依赖注入的框架,因此有必要研究一下Guice,重温一下IOC和DI。MARK! 2.Gu...

2016-04-13 13:51:30

阅读数 1674

评论数 0

HelloCSDN

接下来的日子,需要整理学习、工作的知识,把别的博客搬家到CSDN了,Mark! 2016-04-13

2016-04-13 13:39:38

阅读数 413

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭