shandadadada-CSDN博客

原创 Kafka源码(6)-副本同步机制及isr列表更新

1. 重要类介绍1.1 kafkaServer代表一个kafka Broker的生命周期。除了所有的必要启动和停止一个kafka node的功能1.2 ReplicaManager管理副本的动作，比如，启动副本为leader或者Follower，停止副本，从leader同步数据等。1.3 ReplicaFetcherManager继承自AbstractFetcherMana...

2020-04-13 16:06:39 1061

原创 kafka源码(5)-文件高性能读写

def append(largestOffset: Long, largestTimestamp: Long, shallowOffsetOfMaxTimestamp: Long, records: MemoryRecords): Unit = { if (records.sizeInBytes &...

2020-04-10 10:14:59 689

原创 kafka源码(1)-概述&项目结构

kafka源代码工程目录结构如下图：

2020-04-01 16:44:51 401

原创 kafka源码(4)-基础数据结构之request&response&apis

kafka源码-request&response数据结构

2020-04-01 12:58:13 891

原创 kafka源码(3)-Broker的基础模块ServersSocket

1 SocketServerclass SocketServer(val config: KafkaConfig, val metrics: Metrics, val time: Time, val credentialProvider: CredentialProvider)...

2020-03-26 11:16:24 334

原创 kafka源码(2)-启动&内部模块

1.shell脚本启动最终执行的是kafka.Kafkanohup ./kafka-server-start.sh config/server.properties &if [ $# -lt 1 ];then echo "USAGE: $0 [-daemon] server.properties [--override property=value]*" exit 1f...

2020-03-24 17:47:27 611

原创 kafka源码阅读

1.kafka源码-broker的基础模块serversocket

2020-03-24 15:59:21 316

原创 Elasticsearch集群搭建

首先推荐elasticsearch官方文档入口： https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html NOTE: 使用的elasticsearch版本为5.0.2.1.机器环境准备1.1 java 8 安装jdk81.2 内存锁定值ulimit -a看一下max locked

2017-01-11 23:56:05 1499

原创 Operation category READ is not supported in state standby

Operation category READ is not supported in state standby

2016-05-17 20:40:56 2016

原创 flume学习笔记

１.Flume介绍及设计思想一．介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。目的：把不同数据源的数据，汇集到一个集中存储中心。版本： 0.9.x(OG) VS 1.x(NG)　还没了解OG和NG的区别特点：分布式／可靠及高可用性／实时性／扩展性二．设计思想模块化设计：内部按职能划分Source、Channel、Sink等模块组合式设计：根据不同场景

2016-03-13 18:13:43 580

原创 hadoop hdfs操作

package com.guolin.hadoop;import java.io.IOException;import java.net.URI;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Blo

2016-02-21 20:14:56 369

原创 kafka java简单例子

１．producerimport java.util.Properties;import java.util.concurrent.TimeUnit;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import kafk

2016-02-04 14:30:20 802

原创 kafka集群安装

1.zookeeper下载 wget -c http://apache.fayea.com/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz2.分别在两台台服务器上安装kafka：tar zxvf kafka_2.11-0.9.0.0.tgz修改每台服务器的config/server.properties broker.id：唯一，填数字，本文中分别为0/1host.na

2016-01-31 20:32:54 4945

原创 hadoop2.5.2集群环境搭建

一、环境说明1、机器：三台centos虚拟机2、linux版本：[root@hadoop1 ~]# cat /etc/issue CentOS release 6.5 (Final) Kernel \r on an \m3、[root@hadoop1 ~]# java -version java version “1.7.0_67” Java(TM) SE Runtime Environme

2015-12-06 20:46:57 595

原创 centos免密码登陆

1.关闭防火墙 1.[root@localhost Desktop]# setup 2.查看防火墙状态[root@localhost Desktop]# service iptables statusiptables: Firewall is not running.表示设置成功 3.修改dns[root@localhost Desktop]#

2015-11-02 23:55:43 1668

安装命令sudo apt-get install subversion创建项目目录sudo mkdir /home/svncd /home/svn/projectsudo chmod -R 777 project/创建svn仓库sudo svnadmin create /home/svn/project执行命令后生成以下文件设置访问权限进入config/svnserve.conf，打开anon-ac

2015-09-09 09:50:21 369

原创 zookeeper集群安装配置

1.zookeeper下载下载地址：http://zookeeper.apache.org/releases.html 2.zookeeper安装配置下载完成后解压tar包tar -xvzf zookeeper-3.4.6.tar.gz配置zookeepercd zookeeper-3.4.6/conf/#复制zoo_sample.cfg并命名为zoo

2015-09-09 00:17:00 650

原创 ubuntu安装maven仓库nexus

下载nexus 下载最新版nexus（下载地址http://www.sonatype.org/nexus/go，得到nexus-latest-bundle.tar.gz下载完成后将nexus-latest-bundle.tar.gz拷贝到/usr/local/目录下，并进入/usr/local目录解压nexus-latest-bundle.tar.gz，得到nexus-2.7.0-05和so

2015-08-26 23:40:48 500

原创 gitlab安装

dpkg -i gitlab-ce_7.10.5~omnibus-1_amd64.deb sudo gitlab-ctl reconfigure

2015-08-20 23:54:48 428

原创 ubuntu安装配置

ubuntu安装配置：硬盘挂载mysql秘钥登陆jdk环境

2015-08-20 22:37:05 454

原创 Redis安装和简单测试

系统环境和版本说明操作系统选用Ubuntu 14.04, Redis的版本选取目前的最新稳定版本2.8.9. 客户端选用了Redis的Java版本jedis 2.4.2.Redis的安装步骤a. 下载Redis的安装包wget http://download.redis.io/releases/redis-2.8.9.tar.gz b. 在目录下，解压按照包，生成新的目录redis-2.8.9t

2015-07-31 18:10:15 483

原创 Structs2+Spring实现aop日志与问题解决

struct2+spring实现sop日志与问题解决

2015-07-30 18:10:27 1484 1

原创 ubuntu jdk环境配置

1/配置/etc/profile文件：export JAVA_HOME=/home/software/jdkexport JRE_HOME=${JAVA_HOME}/jreexport PATH=${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:$PATHexport CLASSPATH=.:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/

2015-07-22 10:59:29 402

原创排序算法的分析及java实现

排序大的分类可以分为两种：内排序和外排序。在排序过程中，全部记录存放在内存，则称为内排序，如果排序过程中需要使用外存，则称为外排序。下面讲的排序都是属于内排序。　　内排序有可以分为以下几类：　　(1)、插入排序：直接插入排序、二分法插入排序、希尔排序。　　(2)、选择排序：简单选择排序、堆排序。　　(3)、交换排序：冒泡排序、快速排序。　　(4)、归并排序　　(5)、基数排序一、插入排序 •思想：

2015-07-07 13:53:54 494

原创 HBase集群安装配置

搭建hbase集群环境前提要hadoop集群搭建成功集群机构：主节点（master）是hadoop0，从节点（region_server）是hadoop1、hadoop2。 hbase集群搭建跟伪集群搭建差不多。一、HBASE集群安装 1、hbase下载：http://www.apache.org/dyn/closer.cgi/hbase/ 这里下载的是hbase-0.94.27.ta

2015-05-28 13:15:37 518

原创 HBASE伪集群安装、java api、问题解决

一、HBASE伪集群安装 1、hbase下载：http://www.apache.org/dyn/closer.cgi/hbase/ 这里下载的是hbase-0.94.27.tar.gz2、解压hbase-0.94.27.tar.gz 并改名为habase(改为比较简短为了好配置) 配置profile：JAVA_HOME=/home/jdkPATH=$JAVA_HOME/bi

2015-05-28 11:57:51 642

原创 Android studio svn配置

android studio 安装完成出现svn错误：Can’t use Subversion command line client: svn Probably the path to Subversion executable is wrong. Fix it.解决：需要自己独立安装带有（命令行） command line 功能的 SVN 客户端，我使用的是TortoiseSVN选择 Wil

2015-05-27 21:36:39 567

shandadadada的博客