梦㐅触及轮回-CSDN博客

原创 Shell 脚本学习笔记

变量：定义变量：变量名 val_name=值 “=”号左右不能有空格，变量名只能字母数字下划线组成，不能数字开头，不能与关键字重名变量调用：$val_name 或者${val_name} 建议使用后者注：变量重新赋值，使用val_name=值即可，不能用$符只读变量：readonly修饰可以定义时修饰，也可以定义后修饰删除变量：unset （无法删除只读变量）字符串:用单引号，双引号或者可以不用引号单引号里面不可以用变量，单引号里不能用单引号，但是可以用作拼接双引号里面可

2022-05-11 16:32:03 76

原创 Scala学习笔记

基础语法输出语句：println()：换行输出;print():不换行输出基本数据类型：Byte、Short、Int、Char、Long、String、Boolean、Float、Double定义变量/常量：var/val 变量名[:类型]=值类型可以省略，Scala会自动推断字符串插值表达式：s"${表达式}字符串" 类似于python中的格式化字符串，可以做拼接惰性赋值：懒加载，希望长字符串只在运行的时候加载。lazy var/val标识符：就是用来给变量，方法，类起名字的

2022-03-10 21:37:43 174

原创 Python学习笔记（不完整）

数据类型：int、float、bool、str查看类型：type（数据）格式化字符串：方式一： %s、%d、%f。方式二：.f"字符串{表达式}字符串"字符串函数：str.find(str,index_start,index_end)str.replace(str,替代字符串，替换次数）in方法判断某个字符串是否是另个一字符串一部分字符串分割 str.split("符号")str1.join（list）方法，使用某个字符串作为拼接字符连接列表多个元素字符串切片 st

2022-03-10 21:19:46 787

原创 Flume学习笔记

功能分布式的实时文件、网络端口数据流采集，可以将各种不同数据源的数据实时采集到各种目的地特点实时采集实时监听数据源，一有数据产生就采集功能全面大数据常用数据源和目标地都封装好了对应的接口允许自定义开发 Java开发的源码，提供了自定义开发的接口开发相对简单开发一个配置文件，写入配置即可可以实现分布式采集本身不是分布式工具，可以实现分布式采集架构Agent：一个flume程序就是一个AgentEvent：flume采集的数据封装为Event对象进行传输...

2022-02-12 10:38:46 578

原创 HBase学习笔记

概念：基于内存和磁盘的分布式大数据NoSQL数据库用途定位：常用于大数据离线或实时存储，提供高效读写服务数据存储方式namespace ns类似于MySQL中的数据库table t表rowkey row行的唯一标识，类似于主键，但比主键功能强大，唯一索引列，需要合理设计columnfamily cf列族查询优化手段column c列名ts 时间戳value 值常用命令行命令create_namespace 'namespace_name' 建库create 'NS_...

2022-01-22 22:26:33 1837

原创 Kafka学习笔记

软件介绍：kafka是领英公司基于Scala语言开发的一款消息中间件，后捐献给了Apache基金会功能：分布式流数据实时存储，实时的消息队列工具，分布式流式计算（很少用）定义：分布式的基于订阅发布模式的高吞吐高并发高性能的实时消息队列系统高效率读写基于内存存储数据保证数据安全副本机制和分布式内存存储类似于hdfs的分块和副本机制，不过数据是保存在内存中。kafka数据重启服务不会丢失，因为kafka使用的是操作系统级别的内存。容错性：数据最终保存与分...

2022-01-22 21:48:50 1716

原创 Redis学习笔记

1.概念：基于内存的分布式非关系型数据库，常用于高并发高吞吐的数据库或者作为查询关系型数据库的中间过滤层。2.数据结构：整体key-value键值对方式；键都为String类型，value可以为String、Hash（key-value）、set、list、zst、HyperLogLog等。3.常用命令：value类型命令String： set、get、strlenHash:hmset、hmget、hgetall、hvals、hdel...

2022-01-18 20:31:55 727 2

alassss的博客