BLUE BOX

原创 c++基础记要 1

原创 【llm论文】Scaling Instruction-Finetuned Language Models

第一章。

原创 [LLM] 大模型训练

微调：https://github.com/ramonvc/freegpt-webui。

原创 为什么gpt输出有随机性？

自然语言生成的随机性。

原创 解决OpenAI‘s services are not available in your country. (error=unsupported_country)

1

原创 mac 好用的ps修图软件 Pixelmator Pro

Pixelmator Pro

原创 【ray框架】ray 异步并发

码无定法。

原创 强化学习训练框架

dd

原创 【vscode】实用插件

。。

转载 【ray框架】高性能分布式执行框架——Ray

ray很好的教程

原创 【ray框架】 实现DAG功能

DAG

原创 【Ray】ray.remote和option

ray remote

原创 【机器学习并行计算】1 MapReduce

同步计算

原创 【机器学习并行计算】2 parameter server参数服务器

ps

原创 【强化学习基础】蒙特卡洛 Monte Carlo算法

用抽样来近似函数值

原创 【强化学习】 时序差分TD error的通俗理解

步步逼近

原创 DQN论文阅读

还是要读论文

原创 【强化学习实践】 打乒乓球Pong

【强化学习实践】 打乒乓球Pong

原创 gym基础功能

gym基础功能

原创 mac m1安装gym

mac安装gym

原创 [强化学习总结6] actor-critic算法

用价值来指导策略。

原创 [强化学习总结5] 梯度策略方法

价值和策略的区别，一个是值，一个是概率。

原创 [强化学习总结4] DQN

强化学习的目标通常是找到一个策略，使得智能体从初始状态出发能获得最多的期望回报，这个策略就是最优策略（optimal policy）。

原创 [强化学习总结3] 时序差分算法

光看概念可能很难，看代码就会很清晰，且简单。

原创 [强化学习总结2] 动态规划

概念很简单，公式很复杂，要想学得好，还得看代码

原创 [强化学习总结1] 马尔科夫过程

找对方法理解都不难，还是需要好的教程。

原创 运筹优化学习笔记1

运筹

原创 macbook pro m1安装anaconda

下载链接：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2022.05-MacOSX-arm64.pkg

原创 算法的三种境界

看山是山，看水是水看山不是山，看水不是水看山还是山，看水看是水第一重境界，刚了解算法是什么，知道哪个模型可以用在哪个任务上。第二重境界，学会了不同模型之间的迁移使用，知道一个模型不仅仅用在一个任务上，而是可以相互迁移，比如分割模型也可以用在关键点检测上。第三重境界，理解了各个算法的本质，而不止停留在各种连接或结构上面，看到一个模型的时候可以看到模型的最细微的结构，所有的模型在眼中只是一个个最本质的东西而已。模型和模型之间已经没有了差别。就好像各个物质都是原子组成的结构而已，了解了原子的性质，.

原创 推荐算法随笔

推荐系统1年工作感想。意识流，想到什么写什么。由于机缘巧合从机器视觉转推荐算法已经满打满算一年了，从21年开始做的推荐系统，也1年没写过博客记录学习进程了，可以发现之前做CV的时候比做推荐还是要闲一些的，还有空看看一些论文，但也侧面体验出几个方面：做CV的论文是真的多，尤其是前几年各种牛逼的论文层出不穷；cv是追求精度，需要模型网络上的技巧；推荐系统是个工程和业务问题，更侧重于业务导向，并且上一个模型需要大量的工程上的依赖。换方向的还有个原因就是图像太卷了，换个领域卷一下。推荐系统的模型比起

原创 deepWalk,GCN,graphSAGE,EGES,transformer各种方法异同点

deepWalk,GCN,graphSAGE,EGES,transformer各种图相关方法异同点1 deepWalk2 GCN3 graphSAGE4 EGES5 transformer20220324夜。知识点串一串，形成方法论，理解算法本质。此处仅举例了图或序列相关的算法。1 deepWalkrandomWalk + word2vec2 GCN领域矩阵+embedding矩阵+权重矩阵3 graphSAGErandomWalk采样+层次聚合+f+负采样，最终loss根据任务来设计。4

原创 (重要) tensorflow 2.0 functional API

https://tensorflow.google.cn/guide/keras/functional?hl=zh_cn1. 使用 functional API 流程1. 创建输入节点img_inputs = keras.Input(shape=(32, 32, 3))数据的形状设置为 784 维向量。由于仅指定了每个样本的形状，因此始终忽略批次大小（batch size）。2. 创建层x = layers.Dense(64, activation="relu")(inputs)x = la

原创 go语言程序的例子，可以对着敲

每一节都是代码，没过多的解释，可以熟悉一下代码链接：https://www.yiibai.com/go/hello-world.html

原创 [NLP] Doc2Vec

Doc2Vec Model1 Review: Bag-of-words此模型将每个文档转换为固定长度的整数向量。例如，给定句子：John likes to watch movies. Mary likes movies too.John also likes to watch football games. Mary hates football.模型输出向量：[1, 2, 1, 1, 2, 1, 1, 0, 0, 0, 0][1, 1, 1, 1, 0, 1, 0, 1, 2, 1,

原创 spark里rdd操作才是精髓

rdd！

原创 PySpark withColumn更新或添加列

原文：https://sparkbyexamples.com/pyspark/pyspark-withcolumn/PySparkwithColumn()是DataFrame的转换函数，用于更改或更新值，转换现有DataFrame列的数据类型，添加/创建新列以及多核。在本文中，我将使用withColumn（）示例向您介绍常用的PySpark DataFrame列操作。PySpark withColumn –更改列的数据类型转换/更改现有列的值从现有列派生新列添加具有文字值的列重命名列名删除D

原创 spark基础4

机器学习库MLlib、SparseVector、dense vector、labelpoint机器学习库MLlib、SparseVector、dense vector、labelpoint什么是“ Spark ML”？功能简介版本差异说明：*为什么MLlib切换到基于DataFrame的API？*数据类型 - RDD-based API局部向量scala：python：记录label数据，Labeled pointlibsvm格式机器学习库MLlib、SparseVector、dense vector、l

原创 spark基础3

通用的文件读取方式、spark转pandas通用的文件读取方式、spark转pandaspyspark：scala：例子：保存模型分桶、分区、Bucketing, Sorting and PartitioningPySpark Usage Guide for Pandas with Apache Arrowhttp://spark.apache.org/docs/2.4.3/sql-pyspark-pandas-with-arrow.html什么是分桶？和分区有什么区别？通用的文件读取方式、spark转p

原创 spark基础2

rdd、dataframe、读取parquetrdd和dataframe的区别spark sqldataframesparkSession访问字段执行sql语句datasets,rdd转换为dataframe读写parquet分区读hivesqlDF.rdd.maprdd和dataframe的区别http://spark.apache.org/docs/2.4.3/sql-getting-started.html其实spark教程最开始就介绍了rdd，说rdd有转换和行为两种，也就是有map，fi

原创 spark基础1

rdd、分区、变量作用域、submit、masterRDD分区变量作用域Printing elements of an RDD共享变量Shared Variables广播变量boardcast累加器Accumulators部署到集群Deploying to a ClusterLaunching Applications with spark-submitMaster URLsRDDauthor：还是直接看英文好理解。Spark提供的主要抽象是一个弹性分布式数据集(resilient distri