Andytl的博客

大模型可以完成基础的知识问答，而在专业领域的知识很缺乏，如果灌入专业知识重新训练模型的话，成本是很高的。RAG方法就是用来解决LLM专业知识欠缺，训练成本高的问题。如果把大模型比喻成一个人，那么RAG就是在回答问题的时候给这个人一本书，让他一边查书一边回答问题。，开展基于 InternLM 和 LangChain的知识库构建，通过RAG（检索增强生成算法）实现知识问答。把用户的问题和知识库的数据匹配，一起丢给LLM去回答问题。

图是对自然世界中的实体和关系的抽象，其中关系的地位更加突出，例如七桥问题中，重要的不是具体的项，而是表现这些项之间如何连接的拓扑结构。图数据库中将关系和实体作为同等重要的地位。图数据库是一种数据存储引擎，将包含顶点和边的基本图结构与持久化技术和遍历（查询）语言相结合，以创建针对高度关联数据的存储和快速检索进行优化的数据库。

Paddle2中支持动态图，动态图是指神经网络的结构可以动态变化，build with run，类似于Python语言中变量不需要定义好类型就可以赋值。这样带来的好处是使得网络更加灵活，更具运行的情况来调整数据流走向，确定就是运行比较慢，这和Python的缺点一样。参考一、参考二。例如：import paddleimport paddle.nn.functional as Fimport numpy as npclass MyModel(paddle.nn.Layer): def __

本文参考《深度学习工程师认证初级教程》中5.3.3节词向量案例，利用N-gram模型实现在PTB数据集上的单词预测。词向量是自然语言处理中常见的一个操作，是搜索引擎、广告系统、推荐系统等互联网服务背后常见的基础技术。One-hot vector是一种最简单的词向量，但是用处有限。比如，在互联网广告系统里，如果用户输入的query是“母亲节”，而有一个广告的关键词是“康乃馨”。虽然按照常理，我们知道这两个词之间是有联系的——母亲节通常应该送给母亲一束康乃馨，但是这两个词对应的one-hot vectors之

本文参考《深度学习工程师认证初级教程》中5.3.2节图像分类案例，利用VGGNet和ResNet实现在Cifar10数据集上的图像分类。一、 数据集Cifar10数据集是一个大的数据集的子集，包含了10类带标签的图片，图片包括：飞机、汽车、鸟、猫、狗、鹿、蛙、马、船、卡车等10类。每幅为32*32像素彩色图片，每类6000幅图片，总共60000幅图片，其中50000幅为训练数据，10000幅为测试数据。图片互相独立，也就是说在一副图片中不会同时出现飞机和马，仅出现一个分类。数据样例如下图所示：二、配

手写数字识别是人工智能入门级的应用案例，同时也有很强的实用价值，例如在邮政系统中存在大量信件的邮编数字的识别。本文参考《深度学习工程师认证初级教程》中5.3.1节手写数字识别案例，采用LeNet实现，书中以Paddle1为主，思路可以参考，这里用Paddle2实现。一、数据集使用经典的MNIST数据集，数据集中已经分配好训练集6000张，测试集1000张，而且将图片大小做了规则化（28*28）和居中化。MINIST数据集的官网上介绍了各类传统和神经网络在这个数据上做分类识别的错误率，可见神经网络相对传统

企业在数字化转型中会遇到各业务系统多，建设历程长，数据缺乏统一维护，从而导致数据无法贯通，数据字典缺失等问题。数据流转关系往往保留在业务或技术人员的脑海中，难以充分利用和传承。Apache Atlas就是为解决这些问题而产生的数据治理工具，利用Atlas可以自动构建数据字典，自动生成数据血缘，快速检索数据资源，不仅支持Hadoop生态的Hive、HBase、Sqoop等组件，还可以支持传统关系型数据库。一、框架上图可以看出，Atlas的框架有两个特点，一是基于Hadoop生态组件搭建，二是架构有些复杂

bitcoin官网的bitcoin core钱包已经更新到v0.21.1版本，第一版v0.1是中本聪开发的，开发完后他就消失了，给世界留下了迷。最近在研究bitcoin core，发现一个很神奇的地方，有人居然在钱包软件中“偷偷”留下了自己的邮箱地址和姓名，看样子还是国人。见下图：在bitcoin core ->“窗口”->"收款地址"中鼠标悬停在地址上，居然出现一个QQ邮箱22000631@qq.com和guanlonghuang的字样。看见这场面，第一反应是下载到了盗版的软件，但是通过

一、神经网络介绍深度学习是从神经网络发展而来的，深度学习其实就是深层神经网络。神经网络借鉴了生物学中神经元处理信号的原理和结构。神经元（神经细胞）的功能是接受信号并对其做出反应、传导兴奋、处理并储存信息以及发生细胞之间的联结等，有这些功能，生物才能迅速对环境的变化做出整合性的反应。神经元之间相互连接，当某一神经元处于“兴奋”状态时，其相连神经元的电位将发生改变，若神经元电位改变量超过了一定的数值（也称为阈值），则相连的神经元被激活并处于“兴奋状态”，向下一级连接的神经元继续传递电位改变信息。信息从一个神经

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。分布式是因为HBase底层使用HDFS存储数据，可扩展也是基于HDFS的横向扩展能力，作为大数据的存储当然支持海量数据的存储，NoSQL非关系型数据库表结构和关系型数据库（如Mysql）的逻辑结构、物理结构很不一样，性质特点、应用场景也不一样。1、逻辑结构1）Name Space命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，h

Cockpit是一个部署于Linux服务器，应用于远程web端的监控工具。说是监控工具还漏了一点，Cockpit还可以作为远程连接工具，在没有xshell等连接工具的电脑上也可以用web方式执行命令。安装和运行的方式都很简单，参考这里。...

一、引言与准备上一篇文章介绍了数据仓库的基本概念，本文参考《Hadoop数据仓库实践》中案例搭建一个简单的销售订单数据仓库。在Mysql上建立源数据库，在Hive中建立多维数据仓库。源数据库只有产品、客户、销售订单三张表，如下图：产品表中包含：产品编码（主键）、产品名称、产品分类；客户表中包含：客户编码（主键）、客户名称、客户住址街道、客户邮编、客户城市、客户国家；销售订单表包含：订单编号（主键）、客户编号（外键）、产品编号（外键）、订单日期、入库日期、订单金额。数据仓库面向产品、客户、日期、订

一. 引言1991年Bill Inmon出版的《Building the Data Warehouse》一书中正式提出了数据仓库的概念，Inmon也被人成为数据仓库之父。从本质上说，数据仓库是一种从操作型系统到决策支持环境的数据流架构模型。这定义看上去有些抽象，解释起来还要从数据库说起。数据库是在信息化初期，给业务使用的记录和处理数据的工具。数据从纸质文件数字化后在数据库中处理和存储。随着信息化发展到一定阶段，商业世界中更需要从数据中分析出有价值的信息，为决策提供可靠的依据。比如老板需要得到哪款女装最适

hadoop启动后用jps命令查看各节点启动情况，发现datanode没有启动，解决办法参考。原因在于多次初始化hdfs，删除/home/hadoop3/hadoop/tmp下所有文件即可。不要每次启动hadoop都初始化hdfs,直接start-all.sh和stop-all.sh启停hdfs。用命令hdfs dfsadmin -report查看hdfs状态终于有了值：root@Master:/usr/local/hadoop/sbin# hdfs dfsadmin -reportConfigu

由于centos6已经停止更新，各yum镜像已经下架了相关依赖包，需要更换yum源为http://mirrors.aliyun.com/centos-vault/，参考1、参考2，具体如下：备份原yum配置文件将目录/etc/yum.repos.d下repo文件放入repo_bak文件夹。下载centos6的yum源配置文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.

Cloudera公司最近在官网宣布：从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/p/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera现在开始要输入账号密码认证了。用Cloudera的账号密码的话，会得到如下失败信息：40

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode680题. 验证回文字符串 Ⅱ题目描述：给定一个非空字符串 s，最多删除一个字符。判断是否能成为回文字符串。示例 1:输入: “aba”输出: True示例 2:输入: “abca”输出: True解释: 你可以删除c字符。**解题思路：**字符串是否回文很好判断，只需与逆序字符串比较是否一致，但题目是删除0-1个字符是否是回

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题题目描述：LeetCode55题. 跳跃游戏给定一个非负整数数组，你最初位于数组的第一个位置。数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一个位置。示例 1:输入: [2,3,1,1,4]输出: true解释: 我们可以先跳 1 步，从位置 0 到达 位置 1, 然后再从位置 1 跳 3 步到达最后一个位置。示例 2:

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode题678. 有效的括号字符串题目描述：给定一个只包含三种字符的字符串：（ ，） 和 *，写一个函数来检验这个字符串是否为有效字符串。有效字符串具有如下规则：任何左括号 ( 必须有相应的右括号 )。任何右括号 ) 必须有相应的左括号 ( 。左括号 ( 必须在对应的右括号之前 )。*可以被视为单个右括号 ) ，或单个左括号 ( ，或一个空

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode593题. 有效的正方形题目描述：给定二维空间中四点的坐标，返回四点是否可以构造一个正方形。一个点的坐标（x，y）由一个有两个整数的整数数组表示。示例:输入: p1 = [0,0], p2 = [1,1], p3 = [1,0], p4 = [0,1]输出: True注意:所有输入整数都在 [-10000，10000] 范围内

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode367题. 有效的完全平方数题目描述：给定一个正整数 num，编写一个函数，如果 num 是一个完全平方数，则返回 True，否则返回 False。说明：不要使用任何内置的库函数，如 sqrt。示例 1：输入：16输出：True示例 2：输入：14输出：False**解题思路：**由于不能使用内置库函数，只好另辟蹊径，n

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode1460题. 通过翻转子数组使两个数组相等题目描述：给你两个长度相同的整数数组 target 和 arr 。每一步中，你可以选择 arr 的任意 非空子数组 并将它翻转。你可以执行此过程任意次。如果你能让 arr 变得与 target 相同，返回 True；否则，返回 False 。示例 1：输入：target = [1,2,3,4],

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode728题. 自除数题目描述：自除数 是指可以被它包含的每一位数除尽的数。例如，128 是一个自除数，因为 128 % 1 == 0，128 % 2 == 0，128 % 8 == 0。还有，自除数不允许包含 0 。给定上边界和下边界数字，输出一个列表，列表的元素是边界（含边界）内所有的自除数。示例 1：输入：上边界left = 1,

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode289题. 生命游戏题目描述：根据 百度百科 ，生命游戏，简称为生命，是英国数学家约翰·何顿·康威在 1970 年发明的细胞自动机。给定一个包含 m × n 个格子的面板，每一个格子都可以看成是一个细胞。每个细胞都具有一个初始状态：1 即为活细胞（live），或 0 即为死细胞（dead）。每个细胞与其八个相邻位置（水平，垂直，对角线）的细

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode1051题. 高度检查器**题目描述：**学校在拍年度纪念照时，一般要求学生按照 非递减 的高度顺序排列。请你返回能让所有学生以 非递减 高度排列的最小必要移动人数。注意，当一组学生被选中时，他们之间可以以任何可能的方式重新排序，而未被选中的学生应该保持不动。示例：输入：heights = [1,1,4,2,1,3]输出：3解释：当前

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode1304题. 和为零的N个唯一整数题目描述：给你一个整数 n，请你返回 任意 一个由 n 个 各不相同 的整数组成的数组，并且这 n 个数相加和为 0 。示例 1：输入：n = 5输出：[-7,-1,1,3,4]解释：这些数组也是正确的 [-5,-1,1,2,3]，[-3,-1,2,-2,4]。示例 2：输入：n = 3输出：[-

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode1002题. 查找常用字符**题目描述：**给定仅有小写字母组成的字符串数组 A，返回列表中的每个字符串中都显示的全部字符（包括重复字符）组成的列表。例如，如果一个字符在每个字符串中出现 3 次，但不是 4 次，则需要在最终答案中包含该字符 3 次。你可以按任意顺序返回答案。示例 1：输入：[“bella”,“label”,“roller

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode861题. 翻转矩阵后的得分题目描述：有一个二维矩阵 A 其中每个元素的值为 0 或 1 。移动是指选择任一行或列，并转换该行或列中的每一个值：将所有 0 都更改为 1，将所有 1 都更改为 0。在做出任意次数的移动后，将该矩阵的每一行都按照二进制数来解释，矩阵的得分就是这些数字的总和。返回尽可能高的分数。示例：输入：[[0,0,1,1]

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题题目：LeetCode561题. 数组拆分 I给定长度为 2n 的数组, 你的任务是将这些数分成 n 对, 例如 (a1, b1), (a2, b2), …, (an, bn) ，使得从1 到 n 的 min(ai, bi) 总和最大。示例 1:输入: [1,4,3,2]输出: 4解释: n 等于 2, 最大总和为 4 = min(1, 2) +

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCdoe面试题 17.26. 稀疏相似度题目描述：两个(具有不同单词的)文档的交集(intersection)中元素的个数除以并集(union)中元素的个数，就是这两个文档的相似度。例如，{1, 5, 3} 和 {1, 7, 2, 3} 的相似度是 0.4，其中，交集的元素有 2 个，并集的元素有 5 个。给定一系列的长篇文档，每个文档元素各不相同，

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode771题. 宝石与石头题目描述：给定字符串J 代表石头中宝石的类型，和字符串 S代表你拥有的石头。 S 中每个字符代表了一种你拥有的石头的类型，你想知道你拥有的石头中有多少是宝石。J 中的字母不重复，J 和 S中的所有字符都是字母。字母区分大小写，因此"a"和"A"是不同类型的石头。示例 1:输入: J = “aA”, S = “aAA

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode58题. 最后一个单词的长度题目描述：给定一个仅包含大小写字母和空格 ’ ’ 的字符串 s，返回其最后一个单词的长度。如果字符串从左向右滚动显示，那么最后一个单词就是最后出现的单词。如果不存在最后一个单词，请返回 0 。说明：一个单词是指仅由字母组成、不包含任何空格字符的 最大子字符串。示例:输入: “Hello World”输出:

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题Leetode73题. 矩阵置零题目描述：给定一个 m x n 的矩阵，如果一个元素为 0，则将其所在行和列的所有元素都设为 0。请使用原地算法。示例 1:输入:[[1,1,1],[1,0,1],[1,1,1]]输出:[[1,0,1],[0,0,0],[1,0,1]]示例 2:输入:[[0,1,2,0],[3,4,5,2],

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode83题. 删除排序链表中的重复元素题目描述：给定一个排序链表，删除所有重复的元素，使得每个元素只出现一次。示例 1:输入: 1->1->2输出: 1->2示例 2:输入: 1->1->2->3->3输出: 1->2->3解题思路：链表是有序的，依次遍历链表，并记录当前节

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题题目：LeetCode第1470题. 重新排列数组给你一个数组 nums ，数组中有 2n 个元素，按 [x1,x2,…,xn,y1,y2,…,yn] 的格式排列。请你将数组按 [x1,y1,x2,y2,…,xn,yn] 格式重新排列，返回重排后的数组。示例 1：输入：nums = [2,5,1,3,4,7], n = 3输出：[2,3,5,4,1,

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题题目：给你两个数组，arr1 和 arr2，arr2 中的元素各不相同，arr2 中的每个元素都出现在 arr1 中，对 arr1 中的元素进行排序，使 arr1 中项的相对顺序和 arr2 中的相对顺序相同。未在 arr2 中出现过的元素需要按照升序放在 arr1 的末尾。示例：输入：arr1 = [2,3,1,3,2,4,6,7,9,2,19], a

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode 905. 按奇偶排序数组题目描述：给定一个非负整数数组 A，返回一个数组，在该数组中， A 的所有偶数元素之后跟着所有奇数元素。你可以返回满足此条件的任何数组作为答案。示例：输入：[3,1,2,4]输出：[2,4,3,1]输出 [4,2,3,1]，[2,4,1,3] 和 [4,2,1,3] 也会被接受。解题思路：有两个思路

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode 面试题 08.05. 递归乘法题目描述：递归乘法。 写一个递归函数，不使用 * 运算符， 实现两个正整数的相乘。可以使用加号、减号、位移，但要吝啬一些。示例1:输入：A = 1, B = 10输出：10示例2:输入：A = 3, B = 4输出：12**解题思路：**乘法运算本质上是诺干个加法的简写形式，例如A=3，B=4

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode 剑指 Offer 59 - II. 队列的最大值题目描述：请定义一个队列并实现函数 max_value 得到队列里的最大值，要求函数max_value、push_back 和 pop_front 的均摊时间复杂度都是O(1)。若队列为空，pop_front 和 max_value 需要返回 -1示例 1：输入: ["MaxQueue"

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题Leetcode 面试题 03.02. 栈的最小值题目：请设计一个栈，除了常规栈支持的pop与push函数以外，还支持min函数，该函数返回栈元素中的最小值。执行push、pop和min操作的时间复杂度必须为O(1)。示例：MinStack minStack = new MinStack();minStack.push(-2);minStack.p