董可伦-CSDN博客

Ollama 是一个专注于本地化部署和运行大型语言模型（LLM）的工具，旨在让用户能够在自己的设备上高效地运行和微调模型。它由 Ollama 团队开发，这是一家独立的初创公司，由 Michael Chiang 和 Jeffrey Morgan 创立，总部位于加利福尼亚州帕洛阿尔托。，用户可以自由查看、修改和分发。跨平台支持：兼容 Windows、Linux、MacOS 系统。丰富模型库：提供 1700 + 大语言模型，如 Qwen、Llama 等，可在官网 model library 中直接下载使用。

2025-02-27 19:56:11 1744

原创 Spark 源码 | 脚本分析总结

最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 CLuster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。

2025-02-10 16:29:02 1855

原创 Spark RPC 学习总结

本文从API层面学习总结Spark RPC,暂不涉及源码分析。

2025-01-15 15:50:30 1760 1

原创 Netty 入门学习

学习Spark源码绕不开通信，Spark通信是基于Netty实现的，所以先简单学习总结一下Netty。

2025-01-10 17:25:44 969

原创 log4j 单独设置某个类或者某个包的级别

注释掉dailyfile.Threshold的原因是 NotebookServer 没有单独设置 Appender,也就是使用rootLogger中的 dailyfile ，而 dailyfile 设置了 Threshold = INFO，指定了日志信息的最低输出级别，debug的日志级别高于info，所以不生效，需要去掉该配置。rootLogger是新的使用名称，对应Logger类， rootCategory是旧的使用名称，对应原来的Category类。指定日志信息的最低输出级别，默认为DEBUG。

2024-12-30 10:00:31 1431

原创 Hudi 源码 | 索引总结 - tag/tagLocation

接上篇文章和之前的总结的源码文章，本文总结源码 tag/tagLocation ，对应功能：根据索引信息判断记录是否存在，如果不存在，代表是新增数据，如果记录存在则代表是更新数据，需要找到并设置 currentLocation。tag/tagLocation ：根据索引信息判断记录是否存在，如果不存在，代表是新增数据，如果记录存在则代表是更新数据，需要找到并设置 currentLocation。tagLocation 会利用上篇文章讲的写到 parquet 文件中的最大值最小值和布隆索引。

2024-07-15 14:17:18 373

原创 Hudi 索引总结 - Parquet布隆过滤器写入过程

上篇文章提到：索引的逻辑主要是根据 parquet 文件中保存的索引信息，判断记录是否存在，如果不存在，代表是新增数据，如果记录存在则代表是更新数据，需要找到并设置 currentLocation。对于布隆索引来说，这里的索引信息其实是布隆过滤器，本篇文章主要是先总结布隆过滤器是如何保存到 parquet 文件中的（主要是源码调用逻辑）。

2024-07-10 10:09:10 489

原创 Hudi 写入流程（图）

主要为之前总结的源码文章补充流程图。总结一下整体流程。

2024-07-05 11:13:56 459

原创 Flink 重启策略和故障恢复策略

主要总结 Flink 重启策略。

2024-06-24 19:16:51 553

原创 Hudi extraMetadata 研究总结

研究总结 Hudi extraMetadata ,记录研究过程。主要目的是通过 extraMetadata 保存 source 表的 commitTime （checkpoint），来实现增量读Hudi表写Hudi表时，保存增量读状态的事务性，实现类似于流任务中的 exactly-once。

2024-06-13 19:33:37 562

原创 Hudi CLI 安装配置总结

上篇文章总结了Spark SQL Rollback, Hudi CLI 也能实现 Rollback，本文总结下 Hudi CLI 安装配置以及遇到的问题。

2024-06-07 16:46:51 491

原创 Hudi Spark Sql Procedures 回滚 Hudi 表数据

因为有 Hudi Rollback 的需求，所以单独总结 Hudi Spark Sql Procedures Rollback。

2024-06-04 15:47:02 611 2

原创记录一个 Hudi HBase 依赖冲突问题及解决方案

如题：记录一个 Hudi HBase 依赖冲突问题及解决方案。

2024-06-01 15:45:50 439

原创 Hudi Flink MOR 学习总结

之前很少用MOR表，现在来学习总结一下。首先总结一下 compaction 遇到的问题。

2024-05-28 19:07:11 724

原创 Spark Client 配置

记录Spark Client 配置，这里的 Spark Client 和 HDFS、YARN 不在一个节点，只是一个单节点的 Spark Client，需要能连接其他节点的大数据集群的 Hive 和能提交到Yarn。

2024-05-18 15:23:51 462

原创 Linux 安裝 rpm包

Linux 安裝 rpm包。

2024-05-10 09:43:04 493

原创 Hive 表添加列（新增字段）

记录总结一下 Hive 表如何添加新的字段以及遇到的问题。最初是因为要验证 Hudi Schema Evolution 中的增加字段问题more对于某些文件类型，如ORC不存在该问题，而对于 Parquet、Text ，只有在已有分区下插入数据是，新增字段查询才为 NULL, 新增的分区正常。

2024-04-23 07:00:00 4985

原创集群管理命令总结

clush和pssh，这俩命令都可以在多台服务器上并发执行相同命令，其中个人比较推荐clush，因为感觉clush比较好用，本文来总结一下clush和pssh的安装配置和使用。clush和pssh的安装和使用方式，给出部分使用示例，并记录了 Python2 和 Python3 分别遇到的问题以及解决过程。

2024-04-15 07:00:00 3322

原创 QQ 截图工具独立版安装使用

之前截图一直使用的QQ截图，相比于微信截图，QQ截图还支持长截图，总体来说，QQ截图是我使用过的最好的截图工具。但是现在公司不让用微信、QQ、钉钉等通讯软件，要求使用公司自研的通讯软件，这样就不能使用QQ截图了。尝试使用Windows10自带的截图（win+shift+s）和公司自研通讯软件中的截图功能都不好使，于是网上查了一下，发现有 QQ 截图工具独立版，不需要安装和登录QQ，就可以使用QQ截图，功能和使用方式（快捷键）都一样。

2024-03-18 10:52:57 7802 14

原创 Spark Standalone 集群配置

平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下 Standalone 集群相关的配置。

2024-02-07 16:35:51 774

原创 Linux 批量添加 known_hosts

我们在做完linux ssh 免密登录后，通常会执行一些自动化任务（比如启动Spark集群），也就是需要ssh到每台节点执行相同命令。但是有一个问题就是如果 known_hosts 文件中不存在这个ip的话，在第一次连接时会弹出确认公钥的提示，需要手动输入 yes，才能继续往下进行。输入yes 后会将公钥添加到 .ssh/known_hosts 中，下次连接时就不需要再次确认了。但是如果节点比较多的话，假如有100个节点，那么我们需要手动输入100次 yes 比较麻烦。

2024-01-17 09:05:35 2891