m0_51022702-CSDN博客

原创 kafak基础

文章目录1.定义（作用）2.消息队列引入3.基础架构4.运行原理1.工作流程及文件存储机制2.生产者1.分区策略（往哪放）2.数据可靠性保证2.1ack报文确认机制2.2副本策略1.ISR含义2.ack应答级别3.leader与follower故障处理3.3种语义1.At least once2.At most once3.Exactly once（重点）3.消费者0.消费规则1.消费模式（拉与推的选择）2. 分区分配策略3.offset的维护4.消费者组案例4.高效读写数据原因5.zookeeper在ka

2021-12-27 23:06:43 808

原创 hbaseAPI使用

文章目录1.DDL2.DML1.DDL主要就是通过Admin的对象进行操作即可package ddl;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.NamespaceDescriptor;import org.apache.hadoop.hbase.TableName;import o

2021-12-26 08:03:18 156

原创 kafak基础API实现

文章目录1. producer1.异步不带回调2.异步带回调3.同步不带回调4.同步带回调2.consumer1. 自动提交 offset2. 异步提交offset3.同步提交offset3.自定义功能1.自定义分区规则2.自定义拦截器链1. producer流程图1.异步不带回调package review.producer;import org.apache.kafka.clients.CommonClientConfigs;import org.apache.kafka.clients

2021-12-26 07:43:33 324

原创 JavaScript基础

JS1.介绍2.JS与HTML的结合方式3.变量4.关系运算符5.数组6.函数7.自定义对象8.事件9.DOM模型1.介绍Javascript 语言诞生主要是完成页面的数据验证。因此它运行在客户端，需要运行浏览器来解析执行 JavaScript 代码。 JS 是 Netscape 网景公司的产品，最早取名为 LiveScript;为了吸引更多 java 程序员。更名为 JavaScript。 JS 是弱类型，Java 是强类型。特点：交互性（它可以做的就是信息的动态交互）安全性（不允许直接访问本

2021-12-15 19:26:05 272

原创 hive的基本操作

Hive1.基本概念2.优缺点3.架构原理4.与数据库的比较5.基本数据类型6.DDL数据定义1.数据库2.表1.基本概念hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。重点：1.离线分析,不支持更新hive本质2.优缺点优点（1）操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。（2）避免了去写MapReduce，减少

2021-12-13 21:09:09 1878

原创 hive实现自定义函数

自定义函数0.编程思想得到升华1.UDF2.UDAF2.UDTF3.UDTF升级版4.创建临时函数5.创建永久函数0.编程思想得到升华当写这个框架的自定义类时，大都要继承框架的某些类框架中的对象基本都是再次包装过的，基本不能之间 new 出来，可以考虑在对象名后面加上factory(工厂)当学习新的知识时，看源码是一个非常好的方式，虽然现在还是看得有点懵逼，不过可以先理解大致流程.实现类时，编写简单或自己用的函数，自需要写官方规定的方法即可。一般都是抽象方法会有提示.1.UDF一进

2021-12-13 21:06:15 1761

原创 crontab 命令使用

1.cron服务systemctl start crond //启动服务　　systemctl stop crond //关闭服务　　systemctl restart crond //重启服务　　systemctl reload crond //重新载入配置　　systemctl status crond //查看服务状态 crontab -l //查看当前用户的crontab任务crontab -r //删除当...

2021-11-30 20:32:28 2341

原创 hdfs原理

hdfs笔记1.产生背景2.优缺点1.优点2.缺点3.组成架构1.namenode2.datenode3.clicent4.secondarynamenode4.文件块大小的设置5.shell操作1.基本语法2.常见命令6.javaAPI7.hdfs写数据8.hdfs读流程9.nn 和 2nn1.产生背景随着数据量越来越大，在一个操作系统下无法存储所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，所以迫切需要**一种系统来管理多台机器上的文件。**这就是分布式文件管理系统，h

2021-11-17 15:37:50 1206

m0_51022702的博客