- 博客(100)
- 资源 (6)
- 收藏
- 关注
原创 LLM Agent发展演进历史(观看metagpt视频笔记)
LLM相关的6篇重要的论文,其中4篇来自谷歌,2篇来自openai。技术路径演进大致是:SSL (Self-Supervised Learning) -> SFT (Supervised FineTune) == IT (Instruction Tuning) -> RLHF。暴露度:编程是63.4%,所以编程在很大程度上也是可被替代的。Openai是把所有资源都集中到LLM这一件事情上,集中所有资源于一点,这就是战略选择。GPT有可能会开源,如果是这样,LLM水平面上升,可能会淹没其它很多开源模型。
2023-12-13 16:50:23
360
原创 jupyter notebook启动问题的解决(importError:zmq.backend.cython)
最终把用conda安装的jupyter卸载掉了,然后用pip重新安装jupyter,终于可以正常启动,问题解决。尝试重装pyzmq模块后,依然无效。
2023-06-07 15:33:15
1878
原创 12 机器学习系统 机器学习数据
训练数据量决定效果上限:有的时候,使用什么算法并无关紧要,关键是使用了多大的数据量进行训练。如下图所示的nlp预测场景,四种算法随着训练数据量的增加,其准确率相应增加。而不同算法尽管有一些差异,但远没有数据量的影响那么大。除了训练数据量是否足够,另一个重要方面是特征信息是否充分。一个有用的测试是:在给定的特征之下,人类专家能否有信心给出正确的预测?如果可以,那说明我们提供的特征信息足够充分;否则,说明我们提供的特征数据不够。特征信息充分,模型才可能做出正确预测;不充分,人类都无法做出正确预测,则大概率
2021-08-25 20:00:44
513
原创 理解机器学习中的偏差与方差
所谓高偏差,意思是训练集误差(train error)和验证集误差(cv error)都很大。高偏差意味着模型太简单了,不足以准确描述实际的数据分布,对应“欠拟合”(underfit)。这时,即便增大训练数据集的量,也不会带来训练误差的减小。高偏差对应下图左侧的简单模型,d=1表示只有一维特征。而高方差时,训练集误差小,但验证集误差很大。模型在训练集和验证集上的表现不一致,对应“过拟合”(overfit)。高方差意味着模型足够复杂,但学习得过头了,让一些噪声数据过度影响模型分布,使得模型反而不能反映实
2021-08-22 17:58:40
401
原创 jupyter notebook将python2升级为python3
查看python版本:python --version查看pip版本:pip -V官网下载、安装python3查看python安装路径:which python3查看pip安装路径:which pip3将python3、pip3路径添加到系统配置.bashrc :$ echo "alias python=/Library/Frameworks/Python.framework/Versions/3.9/bin/python3" >> ~/.bashrc$ echo "al.
2021-08-13 11:05:22
1092
原创 python绘制散点图:二分类样本
在做机器学习数据集的探索时,需要绘制二变量的散点图,散点图要能够区分正负样本。如何用python绘制散点图呢?思路其实不复杂:1.绘制正样本,使用“+”图标2.在同一张图上绘制负样本,使用“o”图标3.展示正负样本import numpy as npimport matplotlib.pyplot as plt# # 载入数据# data = np.loadtxt('./ex1data1.txt', delimiter=',')# # 区分特征X和标签y# X,y = data[:,:
2021-01-28 20:09:08
7203
原创 吴恩达机器学习笔记1:手写linear regression
最近手写了linear regression,有以下几点收获:不做归一化,线性模型的训练就无法收敛吗?也可以收敛,但前提是学习率alpha要选得适当,而由于不同特征的量级差异很大,alpha要选得合适并不容易为何要做特征归一化?倒不一定是收敛速度慢,而是很难选择到合适的学习率alpha。一旦alpha选择得不合理,模型就可能无法收敛归一化的时候,要注意记录相应的均值和方差,后续对新样本做预测时也需要使用这两个参数,对特征做归一化这里就体现出手写模型的必要性,不手写很难理解为什么要做特征归一化注意
2021-01-18 20:32:05
664
2
原创 最长上升子序列:dp解法
给定一个无序的整数数组,找到其中最长上升子序列的长度。示例:输入: [10,9,2,5,3,7,101,18]输出: 4解释: 最长的上升子序列是 [2,3,7,101],它的长度是 4。解题思路之前没有想清楚,以为单重循环就能解决问题。后来发现不行的,要解决f(i)的问题,必须要1、2……、f(i-1)的问题都解决了才行,而这前i-1个问题的解决,其实是需要多加一层循环的。还是对这个问题理解不深刻,近期多思考下其中的关键点,两周后再来重做下看看。代码class Solution(obje
2020-11-12 19:57:41
124
原创 dp(动态规划)思考
dp的核心思想是分治策略和表存储。分治策略并非dp所独有,很多算法都运用了把问题拆解为子问题的做法,比如递归。表存储应该是dp比较独有的一种方式,通过存储一些中间结果,可以避免重复计算,从而提升程序运行的速度。def max_length(s1,s2): # 最大公共子串,用dp求解 max_len,max_str=0,'' # 初始化矩阵 res=[[0 for j in range(len(s2))] for i in range(len(s1))] # d
2020-10-30 19:35:32
228
1
原创 N皇后:回溯算法
解题思路使用深度优先搜索,按行搜索。如果下一行搜索不到合法的路径,则相关参数回退到上一层,并尝试更新y之后再次搜索。伪代码如下:res=[] # 用于存储最终结果def dfs(n,x,arr,cols,diag1,diag2): if x==n: res.append(arr) else: # 对于每一行x,循环搜索不同的列y值 for y in range(n): if check(x,y)合法:
2020-10-25 10:23:35
129
原创 回溯算法讨论
目前为止,我见过的关于回溯算法最精准的定义来自于LeetCode。具体如下:回溯算法实际上一个类似枚举的搜索尝试过程,主要是在搜索尝试过程中寻找问题的解,当发现已不满足求解条件时,就 “回溯” 返回,尝试别的路径。回溯法是一种选优搜索法,按选优条件向前搜索,以达到目标。但当探索到某一步时,发现原先选择并不优或达不到目标,就退回一步重新选择,这种走不通就退回再走的技术为回溯法,而满足回溯条件的某个状态的点称为 “回溯点”。许多复杂的,规模较大的问题都可以使用回溯法,有“通用解题方法”的美称。回溯算法的基本思想
2020-10-15 20:26:10
143
原创 [LeetCode]最长回文子串再回顾
题目描述:给定一个字符串 s,找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1:输入: “babad”输出: “bab”注意: “aba” 也是一个有效答案。示例 2:输入: “cbbd”输出: “bb”通过回顾最长回文子串这个题目,加深了对动态规划的理解。原来的理解:以为动态规划就是用来求最长公共子串的,这个理解太窄了。动态规划的核心还是递归,或者叫...
2019-10-12 14:52:15
142
原创 [Leetcode]29. 两数相除
题目描述:给定两个整数,被除数 dividend 和除数 divisor。将两数相除,要求不使用乘法、除法和 mod 运算符。返回被除数 dividend 除以除数 divisor 得到的商。示例 1:输入: dividend = 10, divisor = 3输出: 3示例 2:输入: dividend = 7, divisor = -3输出: -2说明:被除数和除数均为 3...
2019-05-16 23:39:17
192
原创 python del关键字的用法
del Keyword注意del是python关键字,就像def、and、or一样。它不是字典、列表的方法,但是可以用来删除字典、列表的元素。比如:del list_item[4]del dictionary["a"]除此之外,还可以用del删除变量。比如:del foodel好用,含义也非常的清晰,以后在适当的场景可以用起来。...
2019-04-25 19:41:59
2714
原创 [Leetcode]27. 移除元素
题目描述:++难度:简单++给定一个数组 nums 和一个值 val,你需要原地移除所有数值等于val 的元素,返回移除后数组的新长度。不要使用额外的数组空间,你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。元素的顺序可以改变。你不需要考虑数组中超出新长度后面的元素。示例 1:给定 nums = [3,2,2,3], val = 3,函数应该返回新的长度 2, 并且...
2019-04-25 19:35:18
184
原创 [Leetcode]26. 删除排序数组中的重复项
题目描述:给定一个排序数组,你需要在原地删除重复出现的元素,使得每个元素只出现一次,返回移除后数组的新长度。不要使用额外的数组空间,你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。示例 1:给定数组 nums = [1,1,2],函数应该返回新的长度 2, 并且原数组 nums 的前两个元素被修改为 1, 2。你不需要考虑数组中超出新长度后面的元素。示例 2:给定...
2019-04-24 19:21:50
135
原创 [Leetcode]25. k个一组翻转链表
题目描述:给出一个链表,每 k 个节点一组进行翻转,并返回翻转后的链表。k 是一个正整数,它的值小于或等于链表的长度。如果节点总数不是 k 的整数倍,那么将最后剩余节点保持原有顺序。示例 :给定这个链表:1->2->3->4->5当 k = 2 时,应当返回: 2->1->4->3->5当 k = 3 时,应当返回: 3->2-&g...
2019-04-18 23:06:49
299
原创 [Hive]新增字段(column)后,旧分区无法更新数据问题
问题描述:实际应用中,常常存在修改数据表结构的需求,比如:增加一个新字段。如果使用如下语句新增列,可以成功添加列col1。但如果数据表tb已经有旧的分区(例如:dt=20190101),则该旧分区中的col1将为空且无法更新,即便insert overwrite该分区也不会生效。alter table tb add columns(col1 stri...
2019-04-16 11:11:00
6695
原创 [Leetcode]24. 两两交换链表中的节点
题目描述给定一个链表,两两交换其中相邻的节点,并返回交换后的链表。你不能只是单纯的改变节点内部的值,而是需要实际的进行节点交换。示例:给定 1->2->3->4, 你应该返回 2->1->4->3.我的方法:看起来并不算很难,重点应该在于理顺整个处理流程。将节点分为两两一组,每次处理两个节点。对于头两个...
2019-04-10 08:46:00
132
原创 [算法]八皇后问题
问题描述:八皇后问题是一个以国际象棋为背景的问题:如何能够在8×8的国际象棋棋盘上放置八个皇后,使得任何一个皇后都无法直接吃掉其他的皇后?为了达到此目的,任两个皇后都不能处于同一条横行、纵行或斜线上。八皇后问题可以推广为更一般的n皇后摆放问题:这时棋盘的大小变为n×n,而皇后个数也变成n。当且仅当n = 1或n ≥ 4时问题有解。解法:最初的想法是暴...
2019-04-02 23:20:00
365
原创 [Leetcode]22. 括号生成
题目描述:给出 n 代表生成括号的对数,请你写出一个函数,使其能够生成所有可能的并且有效的括号组合。例如,给出 n = 3,生成结果为:["((()))","(()())","(())()","()(())","()()()"]我的方法:一种思路是列出所有可能性,排除其中不合法的组合。这种方法的时间复杂度高达O()。这自然不是一种经济...
2019-03-29 00:01:00
111
原创 [Leetcode]23. 合并K个排序链表
题目描述:合并 k 个排序链表,返回合并后的排序链表。请分析和描述算法的复杂度。示例:输入:[1->4->5,1->3->4,2->6]输出: 1->1->2->3->4->4->5->6我的方法:可以用递归或者直接循环,将k个排序链表转换为2个链表的排序。假如用...
2019-03-26 19:28:00
130
原创 [Leetcode]21. 合并两个有序链表
题目描述:将两个有序链表合并为一个新的有序链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。示例:输入:1->2->4, 1->3->4输出:1->1->2->3->4->4我的方法:这个题目比较简单,解法如下:两个指针分别指向两个链表的头部。比较对应位置的数字大小,记录...
2019-03-21 22:48:00
93
原创 [Leetcode]20. 有效的括号
题目描述:给定一个只包括 '(',')','{','}','[',']' 的字符串,判断字符串是否有效。有效字符串需满足:左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。示例 1:输入: "()"输出: true示例 2:输入: "()[]{}"输出: true示例 3:输入: ...
2019-03-19 20:15:00
85
原创 [Leetcode]19. 删除链表的倒数第N个节点
题目描述:给定一个链表,删除链表的倒数第 n 个节点,并且返回链表的头结点。示例:给定一个链表: 1->2->3->4->5, 和 n = 2.当删除了倒数第二个节点后,链表变为 1->2->3->5.说明:给定的 n 保证是有效的。进阶:你能尝试使用一趟扫描实现吗?我的方法:基本的思路是两次遍历。第...
2019-03-13 22:03:00
80
原创 [Leetcode]18. 四数之和
给定一个包含 n 个整数的数组 nums 和一个目标值 target,判断 nums 中是否存在四个元素 a,b,c 和 d ,使得 a + b + c + d 的值与 target 相等?找出所有满足条件且不重复的四元组。注意:答案中不可以包含重复的四元组。示例:给定数组 nums = [1, 0, -1, 0, -2, 2],和 target =...
2019-03-11 20:08:00
74
原创 [Leetcode]17. 电话号码的字母组合
给定一个仅包含数字 2-9 的字符串,返回所有它能表示的字母组合。给出数字到字母的映射如下(与电话按键相同)。注意 1 不对应任何字母。200px-Telephone-keypad2.svg.png示例:输入:"23"输出:["ad", "ae", "af", "bd", "be", "bf", "cd", "ce", "cf"]....
2019-03-07 22:28:00
186
原创 [Leetcode]16. 最接近的三数之和
给定一个包括 n 个整数的数组 nums 和 一个目标值 target。找出 nums 中的三个整数,使得它们的和与 target 最接近。返回这三个数的和。假定每组输入只存在唯一答案。例如,给定数组 nums = [-1,2,1,-4], 和 target = 1.与 target 最接近的三个数的和为 2. (-1 + 2 + 1 = 2).我的...
2019-03-06 23:40:00
101
原创 [Leetcode]15. 三数之和
给定一个包含 n 个整数的数组 nums,判断 nums 中是否存在三个元素 a,b,c ,使得 a + b + c = 0 ?找出所有满足条件且不重复的三元组。注意:答案中不可以包含重复的三元组。例如, 给定数组 nums = [-1, 0, 1, 2, -1, -4],满足要求的三元组集合为:[[-1, 0, 1],[-1, -1, 2]...
2019-03-01 13:06:00
107
原创 [Mac]secureCRT私钥转换为mac ssh私钥
工作环境从win迁移到mac后,win上原来用secureCRT生成的key,在mac的iterm2中不能兼容使用,导致无法再mac下登录。报错如下:key_load_public:invalid formatload key "/path/key": invalid format报错原因:secureCRT默认生成的私钥为ssh2类型,而mac中...
2019-02-26 15:43:00
716
原创 [Leetcode]13. 罗马数字转整数
罗马数字包含以下七种字符: I, V, X, L,C,D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如, 罗马数字 ...
2019-02-21 19:40:00
88
原创 [Leetcode]12. 整数转罗马数字
罗马数字包含以下七种字符: I, V, X, L,C,D 和 M。字符 数值I 1V 5X 10L 50C 100D 500M 1000例如, 罗马数字 ...
2019-02-20 15:25:00
118
原创 如何将 gitbook上的开源书转换为mobi
看更新后的gitbook官网说不支持pdf、mobi导出,还以为用gitbook-cli也没法导出。几轮尝试之后发现还是能导出的,使用gitbook-cli即可实现。按如下步骤进行操作,未能完成导出:1. 安装nodejs: https://nodejs.org/en/ 2. 安装gitbook-cli:npm install gitbook-cli...
2019-02-19 14:36:00
2549
原创 [Leetcode]11. 盛最多水的容器
给定 n 个非负整数 a1,a2,...,an,每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线,垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线,使得它们与 x 轴共同构成的容器可以容纳最多的水。说明:你不能倾斜容器,且 n 的值至少为 2。question_11.jpg图中垂直线代...
2019-02-15 13:01:00
125
原创 [Leetcode]10. 正则表达式匹配
题目描述:给定一个字符串 (s) 和一个字符模式 (p)。实现支持 '.' 和 '' 的正则表达式匹配。'.' 匹配任意单个字符。'' 匹配零个或多个前面的元素。匹配应该覆盖整个字符串 (s) ,而不是部分字符串。说明:s 可能为空,且只包含从 a-z 的小写字母。p 可能为空,且只包含从 a-z 的小写字母,以及字符 . 和 *。示例 ...
2019-01-31 20:00:00
179
原创 [Leetcode]9. 回文数
题目描述:判断一个整数是否是回文数。回文数是指正序(从左向右)和倒序(从右向左)读都是一样的整数。示例 1:输入: 121输出: true示例 2:输入: -121输出: false解释: 从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个回文数。示例 3:输入: 10输出: false解释: 从右向左读...
2019-01-29 20:05:00
69
原创 [Leetcode]8. 字符串转换整数 (atoi)
题目描述:请你来实现一个 atoi 函数,使其能将字符串转换成整数。首先,该函数会根据需要丢弃无用的开头空格字符,直到寻找到第一个非空格的字符为止。当我们寻找到的第一个非空字符为正或者负号时,则将该符号与之后面尽可能多的连续数字组合起来,作为该整数的正负号;假如第一个非空字符是数字,则直接将其与之后连续的数字字符组合起来,形成整数。该字符串除了有效...
2019-01-24 19:52:00
128
原创 [Leetcode]7. 整数反转
题目描述:题目难度:简单给出一个 32 位的有符号整数,你需要将这个整数中每位上的数字进行反转。示例 1:输入: 123输出: 321示例 2:输入: -123输出: -321示例 3:输入: 120输出: 21注意:假设我们的环境只能存储得下 32 位的有符号整数,则其数值范围为 [−2^31, 2^31 − 1]。请根据...
2019-01-22 22:20:00
120
R语言与网站分析:数据集样例及分类算法实现
2016-02-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人