自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

colossus——bigdata的专栏

专注互联网,大数据,机器学习技术

  • 博客(95)
  • 资源 (33)
  • 论坛 (1)
  • 收藏
  • 关注

原创 6.nacos on k8s在mysql slave机器挂了的情况下配置无法同步的问题

1.现象是在nacos配置页面中新配置文件失效,nacos事件监听机制失效,配置信息无法同步,查看nacos日志:java.lang.ArrayIndexOutOfBoundsException: 1at com.alibaba.nacos.config.server.controller.HealthController.getHealth(HealthController.java:67)at sun.reflect.GeneratedMethodAccessor74.invoke(Unk

2020-06-25 09:33:25 113

原创 5.nacos启动之-注册表中核心内存数据结构

注册中心的注册功能核心数据结构都在com.alibaba.nacos.naming.core包下,主要由servicemanager,service,cluster,instance几个概念组成。并且由serviceManager来管理,首先来看ServiceManager类,该类持有一个ConcurrentHashMap<String, Map<String, Service>>类型的serviceMap:private Map<String, Map<Str

2020-06-25 09:14:41 173

原创 4.深入理解kubernetes:pod控制器

1.自主pod资源一级字段:apiVersion(group/version)kindmetadataspecstatus2.pod资源spec.containers- name <string>image <string>imagePullPolicy Always(无论本地有没有都去下载,最常用),Never(有就用,没...

2020-04-11 09:14:45 43

原创 3.深入理解kubernetes:k8s的资源清单

1.常用资源workload:pod,deployment,rc,replicaset,DaemonSet,Job,Cronjob服务发现及服务均衡:service,ingress.配置存储相关:volume.csi..configmap,secret,downwardApi集群级资源:namespace,node,role,clusterRole,RoleBinding,Clus...

2020-04-11 09:11:31 94

原创 2.深入理解kubernetes:k8s常用命令

1.kubectl get nodes 命令2.k8s中的常见资源:pod,service,replicaset,deployment,statefulset,daemonset,job,crontab,ingress,3.k8s中常用命令master默认是所有pod的污点(taints)。不调度到master上。使用kubectl describe node xxx可以...

2020-04-11 09:10:13 67

原创 1.深入理解k8s:kubernetes的安装

k8s的部署方式:1.kubeadm方式:(1)需要在各个节点上运行docker和kubectlet,kubeadm(2)master节点运行kubeadm的init,此时主节点跑起来了(3)各个node节点分别执行join2.具体安装步骤关闭防火墙master节点上:------------------------------------------------...

2020-04-11 09:08:27 116

原创 4.nacos源码分析之-leader发送心跳给所有的follower

心跳线程启动在启动选举线程后,开始启动发送心跳的线程://每隔500ms发送一次心跳心跳线程 ScheduledExecutorService去调度 GlobalExecutor.registerHeartbeat(new HeartBeat());public static void registerHeartbeat(Runnable runnable) { ...

2019-12-19 14:09:05 340

原创 3.nacos源码分析之-raft选举

由于在启动的start.out日志中没有找到选举的信息,继续查看其他的日志,naming-rt.log这个日志似乎于raft有关,通过日志信息,找到RaftCore类,该类被@Component标志,并且有个方法被@PostConstruct所标注:@PostConstructpublic void init() throws Exception {这里有几个核心概念或组件...

2019-12-18 19:44:23 156

原创 2.naco源码分析之-StartingSpringApplicationRunListener

spring启动后,多个类会被初始化加载,这里主要通过日志查看启动了哪些类:首先,启动时候,日志提示log信息会放在start.out中,查看start.out文件可以找到日志来自StartingSpringApplicationRunListener类:public class StartingSpringApplicationRunListener implements SpringA...

2019-12-18 19:34:50 93

原创 1.nacos源码分析-启动流程及项目结构分析

1.下载源码:git clone git@github.com:alibaba/nacos.git2.导入源码到idea中3.打包编译:mvn -Prelease-nacos clean install -U -Dmaven.test.skip=true4.开始分析源码首先找到distribution这个mudule,该module中的start.sh启动...

2019-12-18 19:34:05 623

原创 1.flink源码分析:flink集群启动入口分析

Flink集群启动入口分析首先查看start-cluster.sh 文件:bin=`dirname "$0"bin=`cd "$bin"; pwd`. "$bin"/config.sh# Start the JobManager instance(s)# 打开选项shopt -s nocasematchif [[ $HIGH_AVAILABILITY == "zookeeper...

2019-01-05 13:03:27 630

原创 supervisor报错:ImportError: No module named supervisor.supervisord 问题

centos环境下安装supervisor:安装后启动supervisor时候报错:service supervisord startStarting supervisord: Traceback (most recent call last):  File "/usr/bin/supervisord", line 2, in     from supervisor.supervi

2018-01-17 10:52:43 4999 1

原创 12.kafka源码分析

首先看master的定义,继承自actor,说明是一个线程。private[spark] class Master( host: String, port: Int, webUiPort: Int, val securityMgr: SecurityManager, val conf: SparkConf) extends Actor with Ac

2017-10-15 21:16:28 361

原创 11.kafka源码分析

spark基本的提交语句:./bin/spark-submit\ --class \ --master \ --deploy-mode \ --conf =\ ...# other options \[application-arguments]参数的含义:--class: 主函数所在的类。--master: master的url,后面会解释

2017-06-05 10:16:07 20647 1

原创 10.kafka源码分析

当你开始学习面向服务的体系结构时,你可能会怀疑,服务(service)和应用程序(application)之间的区别是什么?。并没有对服务或应用程序的精确定义。服务和应用程序都是软件程序,但它们往往有一些不同的特性。我总结了下面表格中最常见的特征:servicesapplication执行单个或几个专门操作通常由其他程序访问通常(但不总是)目标的一个

2017-05-03 20:35:14 456

原创 9.kafka源码分析

面向服务的体系结构(Service oriented architecture,SOA)是一种独立的系统和应用程序通过暴露和使用服务相互通信的体系结构。使用开放的标准定义服务,使通信更容易实现,并减少依赖于专有的通信协议。Distributed Object Architecture (DOA) 是这样一种思想:应用中的对象可以在服务之间自由移动,并且可以相互远程调用。SOA也正是遵循了这

2017-05-03 20:19:21 343

原创 8.kafka源码分析

import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;import java.util.GregorianCalendar;import java.util.Locale;public class DateUti

2017-04-21 10:27:50 926

原创 7.kafka源码分析

原文链接:http://tutorials.jenkov.com/soa/index.html

2017-04-17 18:28:29 488

原创 6.kafka源码分析

java的函数式接口多数位于package java.util.function;包下function代表了一个函数,接收一个参数返回一个结果。function内部有一个apply方法,两个default方法,还有一个static方法。function包含两个泛型:* @param the type of the input to the function* @param th

2017-03-24 15:56:41 448

原创 5.kafka源码分析

lambda表达式与流函数式接口:接口只有一个抽象方法,则默认为函数接口。如果声明了functional interface,编译器就会按照函数接口的要求来检查。在将函数作为一等公民的语言中,lambda表达式的类型是函数。但是在java中,lambda表达式是对象,他们必须依附于一类特别的对象类型--函数式接口。package five;import java.u

2017-03-24 13:54:05 402

原创 4.kafka源码分析

java 1.5的时候增加foreach的增强for循环,然而这里的forEach并不是那个foreach,该处谈论的foreach是集合类的父接口iterable中在jdk1.8新增加的foreach循环函数式方法,先执行下面代码:package com.test.java8;import java.util.ArrayList;import java.util.List;impor

2017-01-07 17:01:33 4872

原创 3.kafka源码分析

首先定义一个函数式接口,随便定义一个方法:@FunctionalInterfaceinterface Test2Interface { void test();}然后定义一个类,该类中有个方法接受上面的接口实现类作为参数,方法内部调用该接口实现类的函数,然后定义匿名内部类来实现这个接口:public class Test2 { //将函数式接口做为参数传递给方法 public

2017-01-07 16:04:12 433

原创 2.kafka源码分析

标注为FunctionalInterface的接口被称为函数式接口,该接口只能有一个自定义方法,但是可以包括从object类继承而来的方法。如果一个接口只有一个方法,则编译器会认为这就是一个函数式接口。例如这样写:public interface FunctionalInterfaceTest { void test1();}如果在接口上面加入@FunctionalInterface注

2017-01-07 15:34:49 4169

原创 1.kafka源码分析

hbase的jmx在1.0后分开了master和regionserver的jmx监控,其中master的页面在masterIP:60010/jmx页面中,regionserver在regionserverip:60030/jmx中,页面展示的是json文件,可以将该页面信息发送给ganglia,zabbix等监控工具,hbase原生支持ganglia,如果发送给zabbix,需要自己开发获取其中的

2016-12-26 09:49:33 11927

原创 10.eureka源码分析

接上篇:Application的start()和handleConfigurationEvent(MaterializedConfiguration conf),handleConfigurationEvent方法是在启动时或者需要动态读取配置文件而配置文件发生变化时,会通过eventBus调用此方法。,该方法会先关闭所有组件再启动所有组件,因此,flume 所谓的动态加载并不是真正的动态,只

2016-11-04 17:49:52 4098

原创 9.eureka源码分析

flume的执行入口在flume-ng-node包下的Application类中,假如需要从kafka中读取数据,配置文件使用本地的配置文件:a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.zo

2016-11-04 10:50:29 2032 2

原创 8.eureka源码分析

flume使用maven管理,层级呈树状结构,树根节点是flume-parent项目,该项目是整个flume的父项目,其他项目集成于该项目,打开这个项目的pom文件,可以看到子模块: flume-ng-core flume-ng-configuration flume-ng-embedded-agent flume-ng-sinks flume-ng

2016-11-02 23:51:38 1030

原创 0.深入理解kubernetes:kubernetes in action 学习笔记

变更账户导致eclipse neon这个版本点开报could not create the java virtual machine这个错误,原因应该是没找eclipse本身的运行环境需要的jvm。按照网上上的方法试了重新设置环境变量,还是不行。后来又试了eclipse.ini文件中-vmargs参数这一行的前面添加-vm,然后换行,然后D:\Users\software\jdk1.8.0_05\

2016-10-18 14:02:54 10035 1

原创 7.eureka源码分析

原文地址:http://www.36dsj.com/archives/16917在多数数据和机器学习的blog里,特征工程 Feature Engineering 都很少被提到。做模型的或者搞Kaggle比赛的人认为这些搞feature工作繁琐又不重要不如多堆几个模型,想入手实际问题的小朋友又不知道怎么提取feature来建模型。我就用个性化推荐系统做个例子,简单说说特征工程在实际的问题里

2016-07-14 01:31:23 562

原创 6.eureka源码分析

地址:https://github.com/endymecy/spark-ml-source-analysis 感谢翻译的同学的辛勤劳动。

2016-06-20 16:39:49 1169

原创 5.eureka源码分析

引用自:http://www.tuicool.com/articles/imyueq在Java里, 当一个对象o被创建时, 它被放在Heap里. 当GC运行的时候, 如果发现没有任何引用指向o, o就会被回收以腾出内存空间. 或者换句话说, 一个对象被回收, 必须满足两个条件: 1)没有任何引用指向它 2)GC被运行.在现实情况写代码的时候, 我们往往通过把所有指向某个对象的r

2016-06-20 13:39:58 431

原创 4.eureka源码分析

1.下载安装包,两种方式:(1)手动下载http://www.aerospike.com/download/server/3.8.3/ 选择对应的版本即可(2)wget下载wget -O aerospike.tgz 'http://aerospike.com/download/server/latest/artifact/el6'2.解压安装包tar -zxvf ae

2016-06-17 10:29:45 915

原创 3.eureka源码分析-eurekaclient的初始化

转自:http://blog.163.com/guixl_001/blog/static/4176410420108296361891/你对JVM内存组成结构和JVM垃圾回收机制是否熟悉,这里和大家简单分享一下,希望对你的学习有所帮助,首先来看一下JVM内存结构,它是由堆、栈、本地方法栈、方法区等部分组成,结构图如下所示。JVM学习笔记 JVM内存管理和JVM垃圾回收

2016-04-08 23:21:52 281

原创 spark源码阅读(十五)--securityManager

securityManager主要用于权限设置,比如在使用yarn作为资源调度框架时,用于生成secret key进行登录。该类默认只用一个实例,所以的app使用同一个实例,下面是该类的所有源代码:private[spark] class SecurityManager(sparkConf: SparkConf) extends Logging with SecretKeyHolder {

2016-04-07 13:27:02 1580

原创 spark源码阅读(十四)---sparkEnv类

sparkEnv为运行的spark实例(master,worker,executor等)持有运行环境相关的对象,sparkenv管理serializer, Akka actor system, block manager, map output tracker等对象。sparkEnv主要被内部使用,后面可能仅供内部使用。sparkEnv最重要的方法是createDriverEnv方法,该方法有三个

2016-04-07 13:06:00 640

原创 spark源码阅读(十三)---sparkConf类

sparkConf主要通过ConcurrentHashMap来维护各种spark的配置属性,加载以spark开头的属性。加载是通过system类来完成:if (loadDefaults) { // Load any spark.* system properties for ((key, value) <- Utils.getSystemProperties if

2016-04-07 11:59:38 1827

原创 2.eureka源码分析-eureka-server的启动与初始化

本文来自http://raksmart.idcspy.com/781 感谢原作者如何解决源码包安装时的依赖性问题自动解决依赖性故障手工解决依赖性问题Rpm软件包和共享库依赖性本教程可以找到解决linux版本中出现诸如:“libc.so.6 is needed by XXX”问题的答案,如果还是没有解决看上面的相关文章推荐在CentOS上的Canon LBP290

2016-03-31 20:20:59 9146

原创 1.eureka源码分析:eureka server的启动入口

rpm -ivh mysql-community-server-5.7.10-1.el5.i686.rpmwarning: mysql-community-server-5.7.10-1.el5.i686.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEYerror: Failed dependencies:解决

2016-03-31 19:17:37 2623

原创 spark源码学习(十二)--- checkpoint机制分析

checkpoint原理:上篇cacheManager源码分析文章中提到,当RDD使用cache机制从内存中读取数据,如果数据没有读到,会使用checkpoint机制读取数据。此时如果没有checkpoint机制,那么就需要找到父RDD重新计算数据了,因此checkpoint是个很重要的容错机制。checkpoint就是对于一个RDD chain,如果中间某些中间结果RDD,后面需要反复使

2016-03-03 21:33:00 1248

原创 spark源码学习(十一)---cacheManager分析

cacheManager的分析要从RDD说起,当读取数据的时候,调用RDD的iterator方法的时候,如果storeRageLevel不是none,那么说明之前进行过RDD的持久化,就不需要从从父RDD执行以获取数据,优先使用cacheManager获取持久化的数据。 final def iterator(split: Partition, context: TaskContext): I

2016-03-03 20:08:56 777

mahout in action中文版 最全的 docx

mahout in action 目前最全的版本

2014-03-04

hadoop权威指南 中文版

hadoop权威指南 第二版 中文版 中文版的 看权威指南的次数等于您hadoop水平的高度

2014-03-04

OpenGL入门教程(精)

openGL入门教程

2012-05-29

绘图控件TeeChart的功能介绍与应用举例

绘图控件TeeChart的功能介绍与应用举例

2012-05-29

数据迁移方法概述

数据迁移方法概述

2012-05-29

Ext.2.2.zip

Ext JS library 大家都懂的

2015-10-23

C primer plus编程练习答案 C primer plus答案

C primer plus编程练习答案 C primer plus编程练习答案 C primer plus编程练习答案 C primer plus编程练习答案

2009-12-31

在Linux世界驰骋系列教程 linux电子书

在Linux世界驰骋系列教程.CHM在Linux世界驰骋系列教程.CHM在Linux世界驰骋系列教程.CHM在Linux世界驰骋系列教程.CHM

2009-12-26

CISSP学习指南 cissp

CISSP学习指南.pdfCISSP学习指南.pdfCISSP学习指南.pdfCISSP学习指南.pdfCISSP学习指南.pdfCISSP学习指南.pdf

2009-12-26

MySQL帮助文档.chm

MySQL5.1帮助文档.chmMySQL5.1帮助文档.chm

2009-12-26

Windows程序设计.chm

Windows程序设计.chmWindows程序设计.chm

2009-12-26

C语言趣味程序百例精解.pdf

C语言趣味程序百例精解.pdfC语言趣味程序百例精解.pdf

2009-12-26

J2EE架构师手册.chm(英文的)

J2EE架构师手册.chm(英文的)J2EE架构师手册.chm(英文的)J2EE架构师手册.chm(英文的)J2EE架构师手册.chm(英文的)

2009-12-26

汇编语言上机实验指导

汇编语言上机实验指导汇编语言上机实验指导汇编语言上机实验指导汇编语言上机实验指导汇编语言上机实验指导

2009-12-26

java记事本 java 记事本

java记事本java记事本java记事本java记事本java记事本java记事本java记事本

2009-12-26

FCKeditor_2.6.4.1.zip

FCKeditor一款强大的组件 开发网站必备

2009-09-14

计算机组成原理 唐朔飞 ppt

计算机组成原理 唐朔飞版的 ppt 计算机组成原理 唐朔飞版的 ppt

2009-09-14

王爽《汇编语言》答案

王爽《汇编语言》答案 王爽 王爽《汇编语言》答案 王爽

2009-09-14

组成原理课后习题答案(唐朔飞).rar

计算机组成原理课后习题答案 唐朔飞 唐朔飞

2009-09-14

《C语言的科学和艺术》书中用到的类库

《C语言的科学和艺术》书中用到的类库 C语言的科学和艺术

2009-09-14

IPV6详解 tcp ip IPv6、ICMPv6

《IPv6详解》全面讲解IPv6及相关协议实现的事实标准KAME,揭示了KAME IPv6协议栈的所有细节,对每行代码到底做了什么以及为什么要这样设计都进行了解释。共分7章,分别介绍IPv6地址结构、IPv6、ICMPv6、邻居发现和无状态地址自动配置、传输层协议及套接字API扩展。每章都包含两个主要部分:第一部分提供了作为RFC发布的主要协议规范的摘要,定义各种协议分组,解释每个分组中每个字段的含义和目的;第二部分则描述实现这些RFC的KAME的数据结构及功能。书的最后还提供了一些例子,说明如何编写既可以在IPv4网络上运行、又可以在IPv6网络上运行的可移植应用程序。 《IPv6详解》是IPv6的权威参考书,适合网络设计和开发人员阅读。此外,还适合作为高校相关专业网络课程的教学参考书。 --------------------------------------------------------------------------------

2009-07-18

小游戏用java编写的宝石连连看 并赠送源代码和可执行程序

宝石连连看 小游戏用java编写的宝石连连看 并赠送源代码和可执行程序

2009-05-28

聊天工具用java编写的 包含客户端和服务端 并赠送源代码和可执行程序

聊天工具用java编写的 赠送源代码和可执行程序

2009-05-28

端口扫描器 用java编写的 赠送源代码和可执行程序

端口扫描器 用java编写的 赠送源代码和可执行程序

2009-05-28

java编写的蜘蛛纸牌 包含源代码和打包程序 极具参考价值

ava编写的蜘蛛纸牌 其中包含源代码和可执行程序 是学习java的捷径

2009-05-28

java编写的浏览器 包含源代码和打包程序 极具参考价值

java编写的浏览器 包含源代码和打包程序 极具参考价值

2009-05-28

Thinking in Java 4rd Edition中文版 源代码

Thinking in Java 4rd Edition中文版 源代码

2009-05-26

谭浩强c语言ppt c语言ppt 谭浩强

谭浩强 谭浩强c语言 c语言ppt

2009-05-26

正则表达式入门经典 源代码

正则表达式入门经典 源代码 正则表达式入门经典

2009-05-15

Thinking In Java 练习题答案 第四版

Thinking In Java答案 这本书我就不说啥了 是 第四版的

2009-05-15

java白皮书 java电子书

java经典书籍 事先声明 英文的 java白皮书 java白皮书 java白皮书

2009-05-15

深入Java虚拟机 源代码

深入Java虚拟机 本书共分20章,第1-4章解释了Java虚拟机的体系结构,包括Java栈、堆、方法区、执行引擎等;第5-20章深入描述了Java技术的内部细节,包括垃圾收集、Java安全模型、Java的连接模型和动态扩展机制、class文件、运算及流程控制等等,其中第6章和附录A-C安全可以作为class文件和指令集的参考手册。本书还附带光盘,光盘中包含用以辅助说明正文内容的交互式例示applet及示例源代码。

2009-05-09

谢希仁计算机网络第五版ppt

最新版的谢希仁计算机网络第五版的课件 考验 自学必备

2009-05-09

Oracle安装问题

发表于 2009-05-28 最后回复 2009-05-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除