weixin_37536020的博客

已装Conda虚拟环境。

启动ollamaEED服务时，通过export命令，指定模型文件存储位置 和 ollamaEED 服务的监听端口(指定了监听端口，可以在同一台主机启动多个ollama服务)下载ollama-linux-amd64到 ~/server目录，并将ollama-linux-amd64服务重命名为ollamaEED。后台启动ollamaEED，会话窗口标签页关闭后，ollamaEED服务仍然启动着。如果只想启动一次，会话窗口标签页关闭后，服务也关闭，2>&1 代表把错误输出也合并到标准输出的文件中。

Docker环境安装anythingllm。

命名:MySQL-server-5.6.31-1.el7.x86_64.rpm[，需要在特定linux版本下安装。命名:mysql-5.6.30-linux-glibc2.5-x86_64.tar.gz。-p, --password:指定登录密码(注意是小写p),一定要放到最后面。-P, --port=xxx:指定数据库的端口号(大写P)-S, --socket=name:指定socket文件。-h, --host=name:指定数据库的主机地址。-u, --user=name:指定登录用户名。

Doris建表默认是有顺序的，这个顺序就是字段的顺序，可以认为这就是它默认的聚合索引。分区可以省略，如果省略的话，默认Doris系统会创建一个分区，这个分区成为单分区，它的分区名字和表名一样。-h:这是我们连接的FE的IP地址，如果你的客户端和FE安装在同一个节点上，可以使用127.0.0.1。FE，Frontend，前端节点，接收用户查询请求，SQL解析，执行计划生成，元数据管理，节点管理等。BE，Backend，后端节点，数据存储，执行查询计划。建表时，可以省略，默认是冗余模型。

FlinkCDC是一个实现CDC(Change Data Capture)思想的数据同步工具。借助于Flink CDC Connector ，它监听数据库的二进制日志文件，来获取数据库变更的数据，以此实现数据同步。

⑦ 随着不断的合并, HFile文件会越来越大,当这个大的HFile文件达到一定的阈值( “最终” 10GB)后,就会触发Split的分裂机制, 将大的HFile进行一分为二操作, 形成两个新的大HFile文件, 此时Region也会进行一分为二操作, 形成两个新的Region, 一个Region管理一个新的大HFile, 旧的大HFile和对应Region就会下线删除。一行数据的一个memstore触发溢写，该行数据的其它menstore也会同时触发溢写，增加了小文件的数量。

hive中内置的json_tuple()函数，可以将json数据解析成普通的结构化数据表。map中每个key-value对，生成一行，key为一列，value为一列。, 收集某个字段的值，进行去重汇总，产生Array类型，即将某列数据转换成数组。生成数据项在分组中的排名，排名相等会在名次中不会留下空位。生成数据项在分组中的排名，排名相等会在名次中留下空位。行转列函数的应用：将星座和血型相同的人归类到一起。从1开始，按照顺序，生成分组内记录的序列。行转列是指多行数据转换为一个列的字段。

从左向右查找，查找字符串中最右边的字符或子串与关键词是否相等，如果相等则返回索引。检索关键词在字符串中出现的位置，找到返回索引下标，找不到返回-1。字符串属于容器类型,for in 循环常用于容器类型遍历。：生成一个容器 , 包含头部但是不包含尾部的一个容器。字符串按 分隔符 分割，返回一个列表。返回字符或子串在字符串中出现的次数。起始值, 结束值, 步长。旧关键词替换为新关键词。字符串.find()

Flink是一个带状态的数据处理系统；系统在处理数据的过程中，各算子所记录的状态会随着数据的处理而不断变化；

SparkSQL 是Spark的一个模块, 用于处理海量结构化数据，其提供了两个操作SparkSQL的抽象，分别是DataFrame和DataSet，spark2.0之后，统一了DataSet和DataFrame，以后只有DataSet。以Python、R语言开发Spark，使用没有泛型的DataSet，即DataFrame结构。Java、Scala语言开发Spark，既可以使用带泛型的DataSet数据结构，也可以使用不带泛型的DataFrame数据结构DataFrame是一种以RDD为基础的分布式数据集

而Series就是DataFrame的列对象，包括数据列和索引列，若数据没有指定索引列，会自动创建一个0到N-1长度为N的整数型索引列。Pandas是python的一个第三方包，是一个结构化数据工具集，能够更加灵活、快速的对数据进行清洗和处理，适用于单击大数据量的数据分析和数据开发。默认的分隔符号为逗号, 当文件中的字段之间的分隔符号不是逗号的时候, 我们可以采用此参数来调整。如果想利用pandas和MySQL数据库进行交互，需要先安装与数据库交互所需要的python包。python包操作数据库的方式。

thrift server服务出现, 只是提供了新的方式来书写SQL: .beeline方式 或者 图形化界面方式。适用于: 纯 SQL的开发工作, 开发后, 形成一个个的SQL的脚本, 在部署上线的时候, 采用spark-sql提交运行

hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp

当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark Application应用。计算圆周率PI的Spark程序，提交到Yarn上运行，在Centos平台上直接用spark-sumbit脚本提交程序。三台Centos7机器: 主机名分别为：node1、node2、node3。设置资源信息，提交运行pi程序至YARN上。

远程连接方案, 允许程序员连接远端测试环境, 确保环境的统一, 避免各种环境问题的发生,而且由于是连接的远程环境, 所有在Pycharm编写的代码 都会自动上传到远端服务器, 在执行代码的时候, 相当于是直接在远端环境上运行。

Centos平台，基于anaconda虚拟python环境，搭建spark高可用集群的搭建步骤