- 博客(191)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 持续学习与专精 之 选择专精方向
在拥有一个深度专精领域后，随着职业生涯发展，可以有意识地培养第二个深度领域，形成两个坚实的支柱，让你的能力结构更加稳固。：设计下一代Transformer替代品、混合专家模型、更高效的注意力机制、大规模分布式训练技术。：构建高性能的模型推理服务器、大规模训练集群的管理与调度、MLOps平台开发。的演示时，是更想知道它背后的推理机制，还是更想用它来开发一个颠覆性的应用？：生成式AI、自动驾驶中的感知系统、医疗影像分析、视频理解。你更喜欢阅读理论推导的论文，还是动手构建一个可用的产品？
2025-10-24 15:01:08
399
原创 持续学习与专精 之 关注前沿
将关注前沿作为一种探索和游戏，而非负担，你将在这条路上走得更远、更快乐。：精心打造你的关注列表。先看标题、摘要、结论，再看图表。决定深度阅读后，再看引言和方法。等开源模型正在快速追赶闭源模型，关注它们的进展和社区生态。：关注会议的最佳论文、获奖论文，它们通常代表了未来的方向。：使用列表功能将关注的人分组。如果论文至关重要，才从头到尾阅读，并尝试复现或做笔记。： 了解开源模型和消费级硬件上运行模型的最佳社区。：阅读优秀项目的源代码是提升工程能力的最佳途径。：如何让大模型在更小的设备上、用更少的资源运行？
2025-10-24 14:58:46
553
原创 应用开发与进阶 之 部署与运维
准备两套完全一样的环境（蓝和绿），在一套环境（如蓝）中部署新版本，测试无误后，将流量从绿色切换到蓝色。）来托管模型，业务API服务器（如FastAPI）通过RPC/gRPC调用模型服务器。：用一个大模型（“教师”）来训练一个小模型（“学生”），让学生模仿教师的行为。：将新版本先部署给一小部分用户（如1%），验证无误后再逐步扩大范围，降低风险。：所有训练的模型都必须被版本化、记录元数据（超参、指标）、并存储在模型仓库中。：将模型权重从高精度（如FP32）转换为低精度（如INT8, FP16）。
2025-10-24 14:56:01
397
原创 应用开发与进阶 之 高级项目（集成工具与行动）
你对智能体说：“帮我找出所有来自客户‘张三’的未读邮件，把其中关于‘项目报价’的邮件内容总结一下，并在我Notion的‘待办’数据库里创建一条任务，标题是‘回复张三的报价’，下周二早上10点提醒我。用户上传一张公司季度营收柱状图的截图，并提问：“分析一下这张图，并结合该公司最近的新闻，告诉我下个季度的趋势预测。创建多个各司其职的智能体（如“研究员”、“分析师”、“写手”），让他们通过协作解决问题。让一个“管理者”LLM先制定计划，再由“执行者”LLM调用工具完成子任务。智能体可能会在复杂任务中“迷路”。
2025-10-24 14:52:25
390
原创 应用开发与进阶 之 中级项目（集成RAG）
这不仅是你技能的巨大飞跃，更是一个极具分量的求职作品。：不要做通用问答，做一个“XX公司员工手册问答”、“XX技术栈专家”、“XX法律条款解读”专家。：使用更小的、更精确的模型对初步检索出的Top-K结果进行重新排序，选出最相关的Top-N个。当用户提出一个问题时，首先从一个外部知识库（如你的文档、数据库）中检索出与问题最相关的信息。：记忆模块知道“我们公司”和“年假”的上下文，并将“哺乳假”作为新问题，再次进行检索和生成。（LangChain的调试和监控平台）来分析和优化你的RAG链每一步的性能。
2025-10-24 14:49:41
320
原创 应用开发与进阶 之 初级项目
复用项目一的流程，使用TF-IDF + 分类器（如SVM）或一个简单的BERT微调模型，完成多分类任务。构建提示词模板，如：“请用小红书的活泼风格，为这款{产品名}写一段推广文案，突出其{特点}。完整的NLP分类流水线、文本预处理、传统ML与DL模型对比、简易Web部署。调用开源大模型、理解生成参数、提示词工程入门、体验大模型的创造能力。构建一个能自动判断电影评论是“正面”还是“负面”的系统。模型）将所有的“问题”和“答案”转换为高维向量（嵌入）。： 从最可能的K个词中挑选，或从概率累积超过p的词中挑选。
2025-10-24 14:46:33
471
原创 核心技术与框架之大模型关键技术
BERT的伟大之处在于，通过在大量语料上预训练后，可以通过添加一个简单的输出层，来微调到各种下游任务（如文本分类、NER、问答），并获得巨大提升。：让序列中的每个词都能直接与序列中的所有词进行交互，计算一个“注意力分数”，从而判断在编码当前词时，应该“关注”其他词的多少信息。：在Transformer的解码器中，为了保证训练和生成时的一致性，在自注意力层中会使用一个掩码，防止当前位置看到“未来”的信息。：通过知识蒸馏技术，将大模型的知识“蒸馏”到小模型中，在保持性能的同时大幅提升速度。
2025-10-24 14:43:10
451
原创 “核心技术与框架”阶段二:自然语言处理（NLP）基础
双向LSTM可以同时捕捉过去和未来的上下文信息，CRF层可以学习标签之间的约束关系（例如，I-PER不能出现在B-ORG之后）。：RNN的一种变体，通过精巧的“门”机制（输入门、遗忘门、输出门）来控制和维持长期记忆，有效缓解梯度消失问题。：介绍NLP的应用领域（如机器翻译、情感分析、智能客服、搜索引擎）及其挑战（如歧义、多样性、上下文依赖）。：对BoW的改进，不仅考虑词频，还考虑词的“重要性”（逆文档频率），降低常见词的权重。：基于全局词-词共现矩阵的词向量模型，结合了全局统计信息和局部上下文窗口的优点。
2025-10-24 14:39:57
88
原创 “核心技术与框架”阶段一:Transformer架构
模型可以在不同的子空间中学习到不同的关系模式（例如，一组头关注语法结构，另一组头关注指代关系），最后将多个头的输出拼接起来再线性变换，得到最终结果。： 这种编码方式不仅能表示绝对位置，还能表示相对位置（因为某个位置的编码可以表示为另一个位置编码的线性函数），并且可以外推到比训练序列更长的序列。： 在解码器的自注意力层中，通过一个掩码矩阵，将未来位置的注意力分数设置为负无穷，这样经过Softmax后，这些位置的权重就变成了0，从而确保了。： 将Softmax后的分数作为权重，对所有的V向量进行加权求和。
2025-09-28 11:19:22
518
原创 “核心技术与框架”阶段一:循环神经网络（RNN） & LSTM
Sigmoid层输出0到1之间的值，表示“允许通过多少信息”（0代表“不允许任何信息通过”，1代表“允许所有信息通过”）。： 在通过时间反向传播（BPTT）计算梯度时，梯度需要从最终损失函数一路反向传播回较早的时间步。例如，“天空是___的”，下一个词很可能是“蓝”或“灰”，而不太可能是“苹果”。这个隐藏状态可以看作是网络的“记忆”，它包含了之前所有输入序列的历史信息。正是这个问题限制了经典RNN的实际应用，促使了更高级的RNN变体的诞生。的数据（如图像分类，每张图片是独立的）非常有效。
2025-09-28 11:09:36
800
原创 “核心技术与框架”阶段一:卷积神经网络（Convolutional Neural Network, CNN）
概念中文解释作用卷积层使用卷积核进行局部连接和权值共享的层核心特征提取卷积核/滤波器一个小权重矩阵，用于检测特定特征提取特征的“模板”特征图卷积核在输入上滑动计算后的输出特征响应的空间分布感受野输出特征图上的一个点对应输入图像上的区域决定能看到多大范围池化层进行下采样（如Max Pooling）的层降维、平移不变性全连接层位于网络末端的传统神经网络层最终分类/回归层次化特征网络从浅到深自动提取简单到复杂的特征CNN强大能力的根源学习建议：访问。
2025-09-10 10:23:54
812
原创 “核心技术与框架”阶段一:深度学习和神经网络基础
概念中文解释重要性Neuron神经元网络的基本计算单元，进行加权求和并应用激活函数基石权重 / 偏置模型需要学习的参数，决定了输入的重要性学习的本质激活函数引入非线性，使网络可以学习复杂模式至关重要，ReLU最常用Layer层神经元的集合（输入层、隐藏层、输出层）网络结构损失函数衡量模型预测好坏的函数优化的目标梯度下降通过沿负梯度方向更新参数来最小化损失核心优化算法反向传播高效计算网络中所有参数梯度的方法训练的关键，依赖链式法则学习率控制参数更新步长的超参数。
2025-09-10 10:20:06
701
原创 AI大模型应用开发 学习路线
用LangChain/LlamaIndex + 向量数据库（Chroma） + GPT API，对你自己的文档（PDF, Word, 网页）进行问答。如果你未来想做Web端的AI应用（如基于浏览器的聊天机器人），学习Node.js和相关框架（如Next.js）会很有帮助。这是所有现代大模型（如GPT、BERT）的基石。紧跟Meta（Llama系列）、Mistral AI、Google（Gemma）等发布的最新开源模型。它们将大模型、向量数据库、工具（如计算器、搜索引擎）等组件链式组合起来，构建复杂应用。
2025-09-10 10:04:28
754
原创 Spark 技术详解
基于 Spark SQL 引擎构建的更高级的流处理引擎，提供低延迟、端到端精确一次（exactly-once）的语义保证，是 Spark Streaming 的进化版。： 从各种数据源（HDFS, S3, Kafka, DB）提取数据，进行清洗、转换，最后加载到数据仓库（如 Hive）中。如果某个分区的数据丢失，Spark 可以根据血统（记录了如何从其他 RDD 转换而来）重新计算该分区，而无需备份。: 可扩展的机器学习库，提供了常见的算法（分类、回归、聚类、推荐等）和工具（特征提取、管道）。
2025-09-09 14:28:58
907
原创 NFS 网络共享文件系统
NFS 是 Linux/UNIX 世界中最经典、最常用的网络文件共享解决方案。它提供了透明的访问体验和集中的数据管理，非常适合机房内部、信任网络环境下的文件共享。对于新项目，应优先选择 NFSv4以获得更好的性能和安全性。在与 Windows 环境混合或对性能有极端要求的场景下，可能会考虑 Samba 或更专业的存储区域网络 (SAN) 方案。
2025-09-09 14:23:31
662
原创 Livy：Spark REST 服务详解
/ 应用jar包或py文件。// Executor内存。// Executor数量。// Driver内存。// Spark配置。PYSPARK, // 交互式PySpark会话。SQL // 交互式Spark SQL会话。SPARKR, // 交互式SparkR会话。SPARK, // 交互式Spark会话。# livy.conf 基础配置。
2025-09-09 14:17:05
678
原创 hadoop、hbase、hive、spark分布式系统架构原理
│ │ │ └── 机器学习/流处理。// Execution内存: Shuffle/Join/Sort/Aggregation。│ │ │ └── rbw/ # 正在写入的块。│ │ │ ├── finalized/ # 已完成的块。// 内置索引（min/max/bloom filter）// 多种压缩算法（ZLIB/SNAPPY/LZO）
2025-09-09 14:03:27
546
原创 Spark 任务提交流程详解
/ 根据master URL创建对应的TaskScheduler。// Client模式：在客户端启动Driver。// 1. 创建Kubernetes Client。// 1. 创建TaskSetManager管理任务集。// 1. 创建YARN Client。// 3. 创建Driver Service。// 1. 创建ResultStage。// 4. 没有依赖，直接提交。// 5. 先提交父Stage。// 2. 创建Driver Pod。// 2. 创建TaskRunner。
2025-09-09 10:36:21
740
原创 Hadoop 技术详解：架构、应用与未来发展
Hadoop 经过多年发展，已经从单一的大数据存储计算框架演变为完整的大数据生态系统。云原生转型：容器化部署、存算分离、弹性伸缩性能极致优化：向量化计算、硬件加速、智能索引生态融合：数据湖架构、流批一体、AI集成智能化运维：AIops、自动调优、智能监控Hadoop 将继续作为企业大数据基础设施的核心组件，与新技术融合演进，为企业数字化转型提供强大支撑。
2025-09-09 10:00:29
913
原创 大数据技术选型对比：HBase vs. Cassandra、Spark vs. Flink、NFS vs. Ceph
通过以上对比分析，可以根据具体的业务需求、性能要求、团队技术栈和运维能力来选择最适合的技术方案。Spark Streaming → 微批次 → Spark Engine → 批处理。Client → NFS Client → NFS Server → 本地存储。Client → LIBRADOS/RBD → MON/OSD → 多节点存储。Cassandra: 450,000 ops/sec # 本地写入优势。HBase: 150,000 ops/sec # 依赖HDFS性能。
2025-09-09 09:48:32
727
原创 云原生部署：Spark on K8s 和 HBase on Cloud
通过以上配置，可以在 Kubernetes 上实现 Spark 和 HBase 的云原生部署，获得弹性扩缩容、高可用性和简化运维等云原生优势。schedule: "0 2 * * *" # 每天凌晨2点。# 添加Spark Operator chart仓库。# 添加HBase Operator chart仓库。# 安装Spark Operator。# 安装HBase Operator。# Prometheus监控配置。# ... 其他配置同上。# 添加监控sidecar。# ... 基础配置。
2025-09-09 09:44:24
629
原创 Kerberos 集成：Hadoop/HBase/Spark 安全认证
TGS → Client: Service Ticket（用Service密钥加密）Client → TGS: TGT + 请求Service Ticket。AS → Client: TGT（用Client密钥加密）-- Container执行用户 -->"""自动更新Kerberos票据"""-- DataNode安全配置 -->-- NameNode安全配置 -->-- ZooKeeper认证 -->-- 启用Kerberos -->-- 启用Kerberos -->// 3. 在Driver端认证。
2025-09-09 09:39:06
532
原创 HDFS 写入流程 & Spark DAG 调度机制源码解析
客户端缓冲：数据先缓存在客户端，组成数据包管道传输：通过管道在DataNode之间顺序传输确认机制：确保数据可靠写入多个副本错误恢复：管道错误时自动重建。
2025-09-09 09:31:12
599
原创 Livy 性能优化：会话超时配置与多用户资源隔离
分层超时设置：会话级、请求级、作业级合理的心跳间隔：避免过于频繁的心跳检测优雅的会话清理：先警告再清理。
2025-09-09 09:26:18
519
原创 HBase 性能优化：RowKey 设计与预分区
RowKey设计黄金法则长度适中（10-100字节）避免时序热点保证业务查询需求预分区建议预分区数量 = 集群RegionServer数量 × 2-3倍考虑数据增长预期定期监控Region大小避免的陷阱不要使用连续数字作为RowKey避免过长的RowKey不要忽略数据访问模式通过合理的RowKey设计和预分区策略，可以显著提升HBase的读写性能和集群稳定性。
2025-09-09 09:06:29
593
原创 性能优化 之 Spark-内存管理（spark.memory.fraction）、并行度（spark.default.parallelism）
首先，必须理解Spark Executor的内存布局。一个Executor的总内存（由或指定）被分为几个部分：text│ ├── Execution Memory (用于shuffle、join、sort等操作)│ └── Storage Memory (用于缓存数据、广播变量)│ └── spark.memory.storageFraction 划定初始比例├── User Memory (存储用户数据结构、RDD转换等)
2025-09-09 08:56:27
902
原创 性能优化 之 HDFS 块大小调整（默认 128MB）、副本数优化
HDFS 将大文件切分成固定大小的数据块（Block），这些块是分布式存储和复制的基本单位。
2025-09-09 08:50:22
506
原创 实战项目示例之数据仓库构建_HDFS 存储原始数据 → Spark SQL 构建维度模型 → 结果导出至 HBase/NFS
date_format(col("order_time"), "yyyyMMdd").as("dt") // 分区字段。.filter(col("status") === "completed") // 过滤已完成订单。└── ads_daily_report/ # 应用数据层。├── dwd_orders/ # 明细宽表。├── dws_user_behavior/ # 轻度汇总。.format("parquet") // 使用列式存储。
2025-09-08 10:40:03
641
原创 实战项目与性能优化之实时推荐系统_Spark Streaming 处理用户行为数据 → HBase 存储特征 → Spark MLlib 训练模型
window($"event_time", "1 hour", "30 minutes"), // 滑动窗口：1小时窗口，30分钟滑动。.config("spark.streaming.kafka.maxRatePerPartition", "1000") // 每分区最大速率。.config("spark.streaming.backpressure.enabled", "true") // 启用反压。Array("i123", "i456", "i789") // 示例。
2025-09-08 10:34:13
796
原创 实战项目示例之日志分析系统-使用 Flume/Kafka 采集日志 → 存储到 HDFS → Spark 清洗 → HBase 存储 → Livy 提供查询接口
/ 示例日志行：'127.0.0.1 - - [10/May/2024:15:32:01 +0800] "GET /index.html HTTP/1.1" 200 612'.config("spark.sql.adaptive.enabled", "true") // 开启自适应查询优化。.drop("timestamp", "request") // 清理临时字段。# 创建名为 'raw-logs' 的topic，1个分区，1个副本（根据集群规模调整）
2025-09-08 10:18:02
674
原创 NFS 与 Hadoop 生态整合之通过 NFS 共享配置文件（如 hbase-site.xml）或 Spark 依赖包
在 ~/.bashrc 或 /opt/hadoop/etc/hadoop/hadoop-env.sh 中。启动 Hadoop/HBase/Spark 服务，它们现在应该使用 NFS 共享目录下的统一配置了。通过这种整合，NFS 成为了大数据集群的“配置中枢”，极大地简化了集群的运维管理和一致性维护。# 在 ~/.bashrc 或 /opt/hbase/conf/hbase-env.sh 中。# 在 ~/.bashrc 或 /opt/spark/conf/spark-env.sh 中。
2025-09-08 10:11:56
884
原创 Livy 安装与使用之部署 Livy 服务，通过 REST API 提交 Spark 作业
Livy 是一个开源服务，它通过 REST Web 接口简化了与 Spark 集群的交互。你可以用它来：提交预编译的 Spark Jar 或 Python 作业。提交代码片段进行交互式执行（类似 Spark Shell）。管理多个 Spark 会话（Sessions），并共享上下文。：作为 Spark 集群的网关运行，接收 REST 请求。Session：代表一个与 Spark 集群的连接。可以是（交互式）或batch（批处理）。Driver。
2025-09-08 10:07:03
1036
原创 HBase 集群集成之部署 HBase 集群（依赖 ZooKeeper）,与 HDFS 集成，测试大规模数据读写
数据节点，负责处理数据的读写请求，管理多个 Region。：管理节点，负责表的管理操作（创建、删除、修改）、RegionServer 的负载均衡和故障转移。通过以上部署和测试流程，你可以成功地搭建一个高可用的 HBase 生产集群，并全面了解其性能表现。这是最重要的界面，可以看到集群概览、所有 RegionServer 的状态、表列表等。这是最重要的文件，配置集群模式、ZooKeeper 和 HDFS 集成。创建此文件（如果不存在），列出备用 HMaster 的主机名，每行一个。
2025-09-08 09:58:49
1273
原创 Spark on YARN 之提交 Spark 作业到 YARN 集群（spark-submit --master yarn）,资源分配调优（executor-memory, num-executor
当使用时，Spark 将作业提交到 Hadoop YARN 集群上执行。YARN 负责资源管理和调度，Spark 负责计算。两种部署模式模式特点适用场景SparkDriver运行在提交作业的客户端机器上。ApplicationMaster (AM) 只负责向 YARN 申请 Executor 资源。客户端不能断开，否则作业失败。交互式开发与调试（如pyspark），可以立即看到 Driver 的输出。SparkDriver运行在 YARN 的容器内。客户端提交完作业后即可断开。生产环境。
2025-09-08 09:53:35
870
原创 Hadoop 集群部署之配置高可用（HA）HDFS 和 YARN,关键文件：core-site.xml, hdfs-site.xml, yarn-site.xml
HDFS：NameNode 是单点，一旦宕机，整个 HDFS 不可用。YARN：ResourceManager 是单点，一旦宕机，无法提交和管理新作业。HA 方案通过引入备用节点和共享元数据存储来解决这些问题。
2025-09-08 09:46:40
874
原创 NFS 基础之配置 NFS 服务端/客户端，共享目录挂载,命令：exportfs, mount -t nfs
命令执行位置功能描述示例exportfs服务端管理NFS共享文件系统。(重新导出所有目录)(查看当前导出列表)showmount客户端显示NFS服务器的挂载信息。(查看服务器共享列表)客户端挂载NFS共享目录。umount客户端卸载已挂载的NFS共享。(如果提示，可用查谁在用)systemctl服务端管理NFS服务。通过以上步骤，你就成功搭建了一个最基本的 NFS 共享环境。在大数据集群中，这个共享目录常用于存放所有节点都需要访问的配置文件（如）、公共JAR包或脚本。
2025-09-08 09:40:48
839
sqldeveloper安装包
2018-06-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人