![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 71
梦㐅触及轮回
这个作者很懒,什么都没留下…
展开
-
Shell 脚本学习笔记
变量: 定义变量:变量名 val_name=值 “=”号左右不能有空格,变量名只能字母数字下划线组成,不能数字开头,不能与关键字重名 变量调用:$val_name 或者${val_name} 建议使用后者 注:变量重新赋值,使用val_name=值即可,不能用$符 只读变量:readonly修饰 可以定义时修饰,也可以定义后修饰 删除变量:unset (无法删除只读变量) 字符串: 用单引号,双引号或者可以不用引号 单引号里面不可以用变量,单引号里不能用单引号,但是可以用作拼接 双引号里面可原创 2022-05-11 16:32:03 · 71 阅读 · 0 评论 -
Flume学习笔记
功能 分布式的实时文件、网络端口数据流采集,可以将各种不同数据源的数据实时采集到各种目的地 特点 实时采集 实时监听数据源,一有数据产生就采集 功能全面 大数据常用数据源和目标地都封装好了对应的接口 允许自定义开发 Java开发的源码,提供了自定义开发的接口 开发相对简单 开发一个配置文件,写入配置即可 可以实现分布式采集 本身不是分布式工具,可以实现分布式采集 架构 Agent:一个flume程序就是一个Agent Event:flume采集的数据封装为Event对象进行传输...原创 2022-02-12 10:38:46 · 571 阅读 · 0 评论 -
HBase学习笔记
概念:基于内存和磁盘的分布式大数据NoSQL数据库用途定位: 常用于大数据离线或实时存储,提供高效读写服务数据存储方式 namespace ns类似于MySQL中的数据库 table t表 rowkey row行的唯一标识,类似于主键,但比主键功能强大,唯一索引列,需要合理设计 columnfamily cf列族 查询优化手段 column c列名 ts 时间戳 value 值常用命令行命令 create_namespace 'namespace_name' 建库 create 'NS_...原创 2022-01-22 22:26:33 · 1827 阅读 · 0 评论 -
Kafka学习笔记
软件介绍:kafka是领英公司基于Scala语言开发的一款消息中间件,后捐献给了Apache基金会 功能:分布式流数据实时存储,实时的消息队列工具,分布式流式计算(很少用) 定义:分布式的基于订阅发布模式的高吞吐高并发高性能的实时消息队列系统 高效率读写 基于内存存储数据保证 数据安全 副本机制和 分布式内存存储 类似于hdfs的分块和副本机制,不过数据是保存在内存中。kafka数据重启服务不会丢失,因为kafka使用的是操作系统级别的内存。 容错性:数据最终保存与分...原创 2022-01-22 21:48:50 · 1712 阅读 · 0 评论