Keep Learning

学习Spark、CarbonData 、Alluxio等，且为其Contributor，Github为：https://github.com/xubo245。欢迎微信联系601450868！

原创 ganglia学习1之ganglia集群版搭建（支持hadoop和spark）

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-1.5.2、hadoop-2.6.0、scala-2.10.4，ganglia-3.6.1系统：ubuntu 14.041.理解1.1 ganglia的概述 Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Gan

2016-11-09 15:48:05 2294

原创 spark源码解读4之SortByKey

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-2.0.1 （20161103github下载版）1.理解1.1 需求使用spark的时候会经常使用sortBykey，比如wordCount后需要排序，可以使用sortBy，也可以先map然后再sortByKey，soerBy也是调用SortByKey1.2 源码S

2016-11-06 18:58:35 2684

原创 spark源码解读3之RDD中top源码解读

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-2.0.1 （20161103github下载版）1.理解输出读取中常用到topK算法，RDD也提供了top方法。特别是RDD过大时，要慎用RDD的collect方法，建议使用take和top方法。如果要有序，可以使用top方法。1.1 定义 def top(num

2016-11-04 19:51:14 3155

原创 spark源码解读2之水塘抽样算法（Reservoir Sampling）

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-1.5.2、hadoop-2.6.0、scala-2.10.41.理解　　问题定义可以简化如下：在不知道文件总行数的情况下，如何从文件中随机的抽取一行？　　首先想到的是我们做过类似的题目吗?当然，在知道文件行数的情况下，我们可以很容易的用C运行库的rand函数随机的获

2016-11-04 19:51:02 3955

原创 spark源码解读1之Partitioner

更多代码请见：https://github.com/xubo245/SparkLearningspark源码解读系列环境：spark-1.5.2、hadoop-2.6.0、scala-2.10.41.理解Partitioner类Partitioner类是用于处理key-value类型的RDD，根据key进行元素划分。Partitioner是一个抽象类。只有两个方法：numPartitions和get

2016-11-04 19:50:46 2834

原创 Spark入门学习记录之SparkLearning

为了更好的学习spark，也为了记录自己学习过程中的遇到的各种问题，方便以后查询，故谢了相关博客，也公开了代码和数据，代码基本都可以本地运行。总目录： SparkLearning博客：http://blog.csdn.net/bob601450868/article/category/5730447 SparkLearning代码和数据：https://github.com/xubo245/

2016-05-17 22:34:00 4620

原创 SparkLearning博客模版

更多代码请见：https://github.com/xubo245/SparkLearning1解释2.代码：3.结果：参考【1】 http://spark.apache.org/docs/1.5.2/graphx-programming-guide.html【2】https://github.com/xubo245/Sp

2016-05-03 19:15:34 1114

原创汽车智驾领域大模型低精度训练分析报告

<think>我们根据要求生成≤150字的文章摘要。需要概括报告核心内容。报告涉及智驾领域大模型低精度训练，主要结论：狭义端到端训练用FP16/BF16，车端INT8/FP16；VLA等大规模才用BF16和FP8，小鹏FP8，特斯拉CFloat8。BF16是训练默认，FP8用于大规模。推理用FP8/INT4。注意不超过150字。用中文。</think>本报告分析智驾领域大模型低精度训练：狭义端到端以FP16/BF16训练，车端INT8/FP16部署；VLA等大规模模型用BF16混合精度，小鹏率先采用FP8云

2026-08-31 22:16:38 374

原创 Ray RLlib 架构精通指导

定义 / 复用RLModule（或 MultiRLModule）实现（及优化器配置）子类化Algorithm，覆写（采样量、是否从 OfflineData 取数、同步策略）提供XxxConfig暴露超参用单进程验算损失，再开分布式。

2026-08-10 20:35:55 203

原创 Ray RLlib 架构入门指导

本文介绍了RLlib的核心架构和基本使用方法。主要内容包括： RLlib是构建在Ray上的可扩展强化学习库，通过分离采样和学习过程实现分布式训练。核心架构包含Algorithm运行时、EnvRunner负责采样、Learner负责学习，通过RLModule和Episode实现解耦。关键组件：AlgorithmConfig/Algorithm负责配置和运行，EnvRunner与环境交互收集数据，Learner更新模型，RLModule封装神经网络。训练流程：EnvRunner采样生成Episode →

2026-08-10 20:34:39 203

原创 verl 架构精通指导

文章摘要《verl 架构精通指导》深入解析了强化学习框架 verl 的核心设计，主要面向需要优化算法、并行策略或扩展后端的工程师。文章重点阐述了 HybridFlow 的架构优势，通过分层控制流实现算法与后端的解耦，以少量通信开销换取更高的系统灵活性和复用性。详细介绍了组件分层设计，包括 Trainer、Worker 和 Engine 三层架构，以及 ActorRolloutRefWorker 的角色组合机制和 TrainingWorker 的统一引擎接口。文章还分析了单控制器编程模型的技术实现，通过 @

2026-08-10 20:26:23 184

原创强化学习精通教程

强化学习精通教程摘要本教程针对已有RL基础的读者，重点讲解深度强化学习核心机制与工程实现。内容涵盖：策略梯度优化 - 分析策略梯度原理、基线修正与重要性采样的作用回报估计方法 - 对比Monte Carlo、TD(0)和GAE的偏置-方差权衡信任域技术 - 解析PPO的裁剪机制及其在LLM中的变体应用离策略学习 - 探讨重要性采样、DQN谱系算法及连续控制方法稀疏奖励处理 - 介绍奖励塑造、课程学习等信用分配策略 LLM强化学习 - 详解RLHF流程、PPO工程要点及DPO等变体故障诊断 -

2026-08-10 20:19:07 202

原创 verl 架构入门指导

verl架构摘要（148字） verl是字节开源的RLHF框架，采用"控制流单进程+计算流多进程"架构解决大模型RL训练难题。核心思想是将算法逻辑（如PPO主循环）集中在单进程Driver中，通过Ray将计算任务（模型训练/推理）分发到多GPU Worker执行，二者通过DataProto协议通信。典型流程：Driver调用WorkerGroup生成响应→计算奖励/优势→更新策略。其优势在于算法可像单机代码般灵活修改，同时兼容FSDP/vLLM等分布式后端。入门需关注Driver-Worker分工、Work

2026-08-10 20:12:01 353

原创强化学习入门教程

本文是一篇面向新手的强化学习入门教程，通过迷宫游戏等生活化类比，帮助读者建立对强化学习的基本直觉。教程首先通过对比监督学习，阐明强化学习是"在互动中试错，通过奖励机制优化长期表现"的学习范式。然后重点讲解了六个核心概念（智能体、环境、状态、动作、奖励、策略）和三大类算法（基于价值、基于策略、演员-评论家方法），并强调了探索与利用的平衡、奖励设计的要点等关键问题。文章最后提供了7天学习路线和推荐资源，帮助读者循序渐进地掌握强化学习的核心思想，为后续深入算法细节奠定基础。全文避免复杂公式，采用生活化比喻和表格对

2026-08-10 19:29:36 368

原创部署dify报错

【代码】部署dify报错。

2025-11-25 02:37:16 786

原创 Windows的WSL ubuntu安装AutoGPT

安装docker：参考：https://blog.csdn.net/Linrp/article/details/148650519。

2025-11-25 01:55:09 287

原创 Windows的wsl(Ubuntu)上部署AutoGPT Platform frontend.

windowsGPU，比如5070TIWSL,ubuntupython环境等等。

2025-11-25 01:53:41 282

原创 Windows的wsl(Ubuntu)运行AutoGPT时 supabase-db 报错问题解决

2.1 修改docker compose。增加db_data的volumns。

2025-11-25 01:40:50 413

原创 Windows上基于WSL的Ubuntu部署Stable diffusion

1）GPU显卡，比如5070ti2）安装wsl的windows系统，系统为ubuntu。

2025-11-20 01:34:57 328

原创在Window上通过ollama安装QWEN大语言模型并进行推理

GPU卡，比如5070Ti。

2025-11-18 00:58:13 411

原创案例1：使用Deepseek生成Python打印爱心图案代码

Python打印爱心图案代码示例。

2025-03-08 09:38:24 650

原创基于kuberay的rayjob中集群启动时间测试

基于kuberay的rayjob中集群启动时间测试

2023-05-12 11:13:16 846

原创学习和体验Ray on volcano

学习和体验Ray on volcano

2023-05-11 20:41:46 1911

原创跑RayJob遇到的问题5：ConnectTimeoutError

跑RayJob遇到的问题5：ConnectTimeoutError

2023-05-11 11:51:33 1425

原创跑RayJob遇到的问题4：提交rayjob之后一直卡在waiting for the cluster to be ready

跑RayJob遇到的问题4：提交rayjob之后一直卡在waiting for the cluster to be ready

2023-05-11 11:47:25 867

原创跑RayJob遇到的问题3：Permission denied: ‘/tmp/ray/session

跑RayJob遇到的问题3：Permission denied: '/tmp/ray/session

2023-05-11 11:43:58 1191

原创跑RayJob遇到的问题2：x509: certificate has expired or is not yet valid

跑RayJob遇到的问题2：x509: certificate has expired or is not yet valid

2023-05-11 11:40:50 729

原创跑RayJob遇到的问题1：spec.type: Unsupported value: “headService“”

基于KubeRay提交RayJob。serviceType没指定的问题

2023-05-11 11:36:53 590

原创基于KubeRay提交RayJob

通过kuberay提交Ray job

2023-05-10 21:54:17 2683

原创使用AutoGpt创建自动化任务

使用AutoGpt创建自动化任务，ChatGPT

2023-04-15 02:06:48 2009

原创基于Docker快速在notebook上运行spark命令

【代码】基于Docker快速在notebook上运行spark命令。

2023-04-10 02:15:52 739

原创基于Docker快速运行Spark

本文是基于macos电脑，docker 20.10.6。已经搭建好docker环境。3.运行Spark命令。

2023-04-10 02:07:28 1154 1

原创编译报错：PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilder

【代码】编译报错：PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilder。

2023-04-08 22:23:48 1026

原创配置docker 代理，连接外部网络并下载docker镜像

配置docker 代理，连接外部网络并下载docker镜像，Ubuntu， proxy

2022-07-18 20:35:41 2764

原创如何将CVAT2.0的docker镜像上传到华为云镜像中心SWR

1.打包localhost:cvat xubo$ docker container lsCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESf5

2022-02-09 21:06:57 1124

原创如何将CVAT的docker镜像上传到华为云镜像中心SWR

1.打包localhost:cvat xubo$ docker save -o cvat_proxy.tar nginx:stable-alpinelocalhost:docker xubo$ docker save -o cvat_ui.tar cvat/ui localhost:docker xubo$ docker save -o cvat.tar cvat/serverlocalhost:docker xubo$ docker save -o cvat_db.tar post

2022-02-09 11:49:08 1892

原创修改git下面 .gitignore之后没有生效的解决办法

修改git下面 .gitignore之后没有生效的解决办法有时候发现通过vi .gitignore修改 .gitignore之后并没有生效，想排除的文件通过git status也查看不到，这个时候有可能是没有清空缓存。解决办法：清空本地的git缓存：git rm -r --cache . 重新查看git status就可以看到修改，然后继续add和commit即可...

2021-07-08 09:54:18 728

原创 How to release python whl to pypi

Edit setup.pu setup.cfg version id# Copyright 2018 Deep Learning Service of Huawei Cloud. All Rights Reserved.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in compliance with the License.# You may

2021-06-30 14:54:58 522

原创下载XAMPP并安装和使用（Mac环境）

1.下载XAMPPhttps://udomain.dl.sourceforge.net/project/xampp/XAMPP%20Mac%20OS%20X/8.0.6/xampp-osx-8.0.6-0-vm.dmg

2021-06-06 16:53:37 8147 3

原创使用命令连接XAMPP中的mysql

localhost:mysql xubo$ mysql -uxubo -h 192.168.64.2 -P 3306 -pEnter password: Welcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 259Server version: 5.5.5-10.4.19-MariaDB Source distributionCopyright (c) 2000...

2021-06-06 16:40:32 864

百度人搜，阿里巴巴，腾讯华为小米搜狗笔试面试八十题.pdf

2015-08-20

2015年中国软件开发者白皮书

2016-01-12

CarbonData学习资料

Apache CarbonData学习文档汇总，包含视频/文档/文件等。

2018-11-22

neo4j-enterprise-2.3.1-unix.tar.gz

neo4j-enterprise-2.3.1-unix.tar.gz，官网下载

2015-11-25

neo4j-enterprise-2.3.0-M03-unix.tar.gz

neo4j-enterprise-2.3.0-M03-unix.tar.gz,官网下载

2015-11-25

isrgb.m,matlab

isrgb.m matlab rgb function y = isrgb(x) %ISRGB Return true for RGB image. % FLAG = ISRGB(A) returns 1 if A is an RGB truecolor image and % 0 otherwise. % % ISRGB uses these criteria to determine if A is an RGB image: % % - If A is of class double, all values must be in the range % [0,1], and A must be M-by-N-by-3. % % - If A is of class uint8 or uint16, A must be M-by-N-by-3. % % Note that a four-dimensional array that contains multiple RGB % images returns 0, not 1. % % Class Support % ------------- % A can be of class uint8, uint16, or double. If A is of % class logical it is considered not to be RGB. % % See also ISBW, ISGRAY, ISIND. % Copyright 1993-2003 The MathWorks, Inc. % $Revision: 1.15.4.2 $ $Date: 2003/08/23 05:52:55 $ wid = sprintf('Images:%s:obsoleteFunction',mfilename); str1= sprintf('%s is obsolete and may be removed in the future.',mfilename); str2 = 'See product release notes for more information.'; warning(wid,'%s\n%s',str1,str2); y = size(x,3)==3; if y if isa(x, 'logical') y = false; elseif isa(x, 'double') % At first just test a small chunk to get a possible quick negative m = size(x,1); n = size(x,2); chunk = x(1:min(m,10),1:min(n,10),:); y = (min(chunk(:))>=0 && max(chunk(:))=0 && max(x(:))<=1); end end end

2014-03-27

色彩空间转换matlab

色彩空间转换matlab RGB HSV YIQ NTSC

2014-04-14

redis-3.0.4安装包

redis-3.0.4.tar.gz，redis-3.0.4安装包，官网下载

2015-09-09

资金流入流出预测大赛冠军答辩PPT

资金流入流出预测大赛冠军答辩PPT，资金流入流出预测冠军答辩PPT 阿里云天池

2015-09-09

opencv 3.4.1 jar

opencv-341.jar. for invoking opencv,you can add the code to your project

2018-05-16

微软、谷歌、百度、腾讯等各大公司笔试面试题整理全版.rar

2015-08-20

计算方法实验Gauss_Seidel法和Runge_Kutta法

计算方法实验说明文档 PB10210016 徐波实验要求：第二版208页程序15 第二版208页程序20，将二阶改为四阶，求第二个实验环境：操作系统：Windows8 64位　编译软件:Code::Blocks 版本：10.05 位数：32位实验提交时间：　考前实验说明： Gauss_Seidel：左侧为数据文档，为了方便多次测试，可将txt文档中数据复制到exe中运行，输入规范请见上图上图为正确输出之一 Runge_Kutta 左侧为数据文档，为了方便多次测试，可将txt文档中数据复制到exe中运行，输入规范请见上图上图为正确输出之一附件：程序15：Gauss_Seidel代码、可运行exe程序、输入数据文件和运行截图程序20：Runge_Kutta代码、可运行exe程序、输入数据文件和运行截图实验心得：　　通过这次实验，对Gauss_Seidel法和Runge_Kutta法了解更深，并且有了实际运行经验，而且通过编程，对方法每一步的运算数据的输入输出了解更深，总的来说收获很大，我们应该多写些类似的程序，希望能将其放在网页上，输入数据就能运行出结果。 PB10210016 徐波 2013.5.28 代码请联系QQ：601450868　　

2013-10-17

JavaSE中文API.chm

JavaSE中文API.chm JavaTM 2 Platform Standard Edition 5.0 API 规范本文档是 Java 2 Platform Standard Edition 5.0 的 API 规范。

2015-08-24

C语言头函数包include

C语言头函数包include stdio.h stdlib.h等

2013-10-18

高级Shell脚本编程

高级Shell脚本编程,高级Shell脚本编程

2016-03-15

jdk api 1.7英文版-带索引

java, jdk api 1.7英文版-带索引,English,Index,Java™ Platform, Standard Edition 7 API Specification

2015-08-24

Java 2 SE 6 Documentation.chm

Java 2 SE 6 Documentation.chm JavaTM SE 6 Platform at a Glance This document covers the JavaTM Platform, Standard Edition 6 JDK. Its product version number is 6 and developer version number is 1.6.0, as described in Platform Name and Version Numbers. For information on a feature of the JDK, click on a component in the diagram below.

2015-08-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

百度人搜，阿里巴巴，腾讯华为小米搜狗笔试面试八十题.pdf

2015年中国软件开发者白皮书

CarbonData学习资料

neo4j-enterprise-2.3.1-unix.tar.gz

neo4j-enterprise-2.3.0-M03-unix.tar.gz

isrgb.m,matlab

色彩空间转换matlab

redis-3.0.4安装包

资金流入流出预测大赛冠军答辩PPT

opencv 3.4.1 jar

微软、谷歌、百度、腾讯等各大公司笔试面试题整理全版.rar

计算方法实验Gauss_Seidel法和Runge_Kutta法

JavaSE中文API.chm

C语言头函数包include

高级Shell脚本编程

jdk api 1.7英文版-带索引

Java 2 SE 6 Documentation.chm

JDK.API.7_English.chm

10部算法经典著作的合集

neo4j-javadocs-2.3.1-javadoc.jar

空空如也