小柒sy的程序员成长道路

文章目录深入Kafka1. 集群成员关系2. 控制器3. 复制4. 处理请求4.1 生产请求4.2 获取请求4.3 其他请求5. 物理存储5.1 分区分配5.2 文件管理5.3 文件格式5.4 索引5.5 清理5.6 清理的工作原理5.7 被删除的事件5.8 何时会清理主题深入Kafka1. 集群成员关系Kafka使用Zookeeper来维护集群成员的信息。每个broker都有一个唯一标识...

文章目录Kafka消费者1. KafkaConsumer概念1.1 消费者和消费者群组1.2 消费者群组和分区再均衡2. 创建Kafka消费者3. 订阅主题4. 轮询5. 消费者的配置6. 提交和偏移量6.1 自动提交6.2 提交当前偏移量6.3 异步提交6.4 同步和异步组合提交6.5 提交特定的偏移量7. 再均衡监听器8. 从特定偏移量出开始处理记录9. 如何退出10. 反序列化器11. 独立...

文章目录Kafka生产者1. Kafka生产者组件2. 创建Kafka生产者3. 发送消息到Kafka3.1 同步发送消息3.2 异常发送消息4. 生产者的配置5. 序列化器5.1 自定义序列化器5.2 使用Avro序列化5.4 在Kafka里使用Avro6. 分区Kafka生产者1. Kafka生产者组件2. 创建Kafka生产者要往Kafka写入消息，首先要创建一个生产者对象，并设置...

Kafka权威指南1. Kafka生产者Kafka生产者2. Kafka消费者3. 深入Kafka4. 可靠的消息传递5. 构建数据管道6. 跨集群数据镜像7. 管理Kafka8. 监控Kafka9. 流式处理...

给定一个链表，删除链表的倒数第n个节点，并且返回链表的头结点解题思路：用2个距离为n的指针，分别向前移动，直到先移动的指针到达链表的尾部。//scala/** * Definition for singly-linked list. * class ListNode(var _x: Int = 0) { * var next: ListNode = null * var...

查找nexus镜像docker search nexus下载镜像docker pull sonatype/nexus3启动镜像docker run -d --name nexus3 --restart=always -p 8081:8081 -p 8082:8082 -p 8083:8083 -p 8084:8084 -p 8085:8085 sonatype/nexus...

最近看了git教程，这里整理一下git的相关命令。git init //将所在文件夹初始化为仓库//仓库中的文件需要经过add和commit才能提交到仓库git add <filename>git commit -m "some information" //-m是注释信息，提交成功的话，会输出some informationgit status //显示仓库当前的状态...

安装过程装docker这里使用的是菜鸟教程mac docker安装拉取gitlab镜像docker pull gitlab/gitlab-ce#通过下面的命令查看镜像，如果有gitlab说明pull成功docker images运行容器sudo docker run -d \--hostname localhost \--name gitlab \--resta...

使用命令行运行mapreduce程序在~/.bashrc 中增加如下几行中添加：export HADOOP_HOME=/usr/local/hadoopexport CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH执行source ~/.bashrc通过hadoop classpath可以得到Hadoop所需要的全部...

YARN的介绍

文章目录Hadoop分布式文件系统1. HDFS的设计2. HDFS的概念Hadoop分布式文件系统1. HDFS的设计HDFS实现目标：兼容廉价的硬件设备实现流数据读写支持大数据集支持简单的文件模型强大的跨平台兼容性HDFS局限：不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意的修改文件2. HDFS的概念数据块每个磁盘都有默认的数据块大...

有时候，可能需要通过远程操作hdfs，比如在本地操作云服务器上的hdfs。step 1:将云服务上的hadoop环境中的jar下载到本地，一般的路径是：hadoop/share/hadoop.这里我将hadoop安装在了/usr/local，所以完整路径是/usr/local/hadoop/share/hadoopstep 2:将jar包加载到idea(这里使用的idea)具体步骤：右...

文章目录hadoop简介企业应用选择Hadoop版本的参考因素Hadoop项目结构Hadoop安装Hadoop集群基准测试hadoop简介空~hadoop有两大核心HDFSMapReducehadoop特性高可靠性、高效性、高可扩展性企业应用hadoop不同版本Apache Hadoophadoop1.0到2.0的变化选择Hadoop版本的参考因素是否开...

文章目录Hadoop权威指南1. 初识HadoopHadoop权威指南1. 初识Hadoop初识Hadoop

文章目录初识Hadoop初识Hadoop大数据是由结构化和非结构化数据组成。非结构化占比90%左右，通常是指图像、音频等。技术支撑大数据的兴起需要的技术支撑：存储计算网络1GB=1024MB，1TB=1024GB，1PB=1024TB大数据的特性当提到大数据的典型特性时，通常是4V：Variety(多样化)Velocity(快速化)Volume(大量化)Va...

文章目录python数据科学手册第一章 基础知识第二章 numpy第三章 pandas其他python数据科学手册第一章 基础知识python数据科学手册第一章第二章 numpynumpy第三章 pandaspandas其他数据处理过程对数据进行上采样和下采样将mat文件转换成csv文件...

文章目录1. Java2. Linux3. Python4. 数据库5. Hadoop6. 机器学习1. JavamavenJava之IO系统2. LinuxTLCL3. Python4. 数据库MySQL技术内幕-InnoDB存储引擎MySQL技术内幕-SQL编程5. Hadoop6. 机器学习...

去maven官网下载maven压缩包，最好下载bin压缩包，因为可以直接用将maven放到一个文件夹下，然后将对应的bin路径添加到PATH中，通过修改~/.bash_profile文件运行上面的参数文件，source ~/.bash_profile安装maven，运行命令行mvn -v如果这时候报错，说java路径错误，则在source ~/.bash_profile文件中添加expo...

文章目录Java I/O系统1. File类2. 输入和输出3. Reader和Writer4. 自我独立的类：RandomAccessFile5. 标准I/O6. 新I/O7. 用GZIP进行简单压缩8. 对象序列化9.XML10. PreferencesJava I/O系统1. File类File既能代表一个特定文件的名称，又能代表一个目录下的一组文件的名称。如果它指的是一个文件集，可以...

文章目录游标游标的使用游标游标的作用就是用于对查询数据库所返回的记录进行遍历游标的使用在MySQL数据库中，游标可以在存储过程和函数(Stored Routine)以及触发器(Trigger)和事件(Event)中使用。游标需要与handler一起使用，并且游标要在handler之前定义。游标有以下三个属性：Asensitive：数据库也可以不复制结果集。Read only：不可更...