yestolife123-CSDN博客

原创 Internlm训练营作业和笔记集合

第六课作业和笔记：https://blog.csdn.net/Andytl/article/details/135726837。

2024-01-29 16:41:26 496

原创 OpenCompass大模型测评

OpenCompass是一个开源的大模型测评能力框架，从学科、语言、知识、理解、推理、安全等6个维度，100+测试集，对大模型进行综合测评。1、让普通用户了解大模型的能力和特点，选择合适的大模型。3、让管理机构更了解大模型，减少大模型带来的社会风险。2、让开发者了解大模型的能力边界，找到提升的地方。4、让产业界找到最合适的大模型，在真实场景中赋能。为什么大模型需要开展测评?

2024-01-21 11:02:25 519

原创 LMDeploy 的量化和部署

LMDeploy 的量化和部署文档：https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md视频：https://www.bilibili.com/video/BV1iW4y1A77P。

2024-01-13 23:41:01 500

原创基于 InternLM 和 LangChain 搭建你的知识库

大模型可以完成基础的知识问答，而在专业领域的知识很缺乏，如果灌入专业知识重新训练模型的话，成本是很高的。RAG方法就是用来解决LLM专业知识欠缺，训练成本高的问题。如果把大模型比喻成一个人，那么RAG就是在回答问题的时候给这个人一本书，让他一边查书一边回答问题。，开展基于 InternLM 和 LangChain的知识库构建，通过RAG（检索增强生成算法）实现知识问答。把用户的问题和知识库的数据匹配，一起丢给LLM去回答问题。

2024-01-09 11:29:25 391

原创跑通大模型领域的 hello world

跑通书生·浦语大模型的 3 个趣味 demo（InternLM-Chat-7B 智能对话、Lagent工具调用解简单数学题、浦语·灵笔多模态图文创作和理解）和。

2024-01-06 10:19:53 496

原创书生浦语大模型全链路开源体系

人工智能已从专用模型向大模型发展，专用模型是针对特定任务，一个模型解决一个问题。通用大模型是一个模型应对多种任务，多种模态。目前上海人工智能实验室发布的InternLM大语言模型可分为轻量级InternLM-7B，中量级InternLM-20B，重量级InternLM-123B（千亿级），均为开源可商用。AgentLego，多模态智能体工具箱，Lagent是提供智能体框架，而AgentLego是提供工具。LMDeploy，大模型部署方案，提供模型轻量化、推理和服务，与OpenAI接口兼容，方便迁移；

2024-01-03 21:29:54 514

原创 [技术分享]初探图数据库

图是对自然世界中的实体和关系的抽象，其中关系的地位更加突出，例如七桥问题中，重要的不是具体的项，而是表现这些项之间如何连接的拓扑结构。图数据库中将关系和实体作为同等重要的地位。图数据库是一种数据存储引擎，将包含顶点和边的基本图结构与持久化技术和遍历（查询）语言相结合，以创建针对高度关联数据的存储和快速检索进行优化的数据库。

2022-10-05 21:48:34 566

原创 [技术分享]神经网络中的动态图

Paddle2中支持动态图，动态图是指神经网络的结构可以动态变化，build with run，类似于Python语言中变量不需要定义好类型就可以赋值。这样带来的好处是使得网络更加灵活，更具运行的情况来调整数据流走向，确定就是运行比较慢，这和Python的缺点一样。参考一、参考二。例如：import paddleimport paddle.nn.functional as Fimport numpy as npclass MyModel(paddle.nn.Layer): def __

2021-10-07 16:14:12 992

原创 [技术分享]使用N-Gram词向量模型句子的下一个单词

本文参考《深度学习工程师认证初级教程》中5.3.3节词向量案例，利用N-gram模型实现在PTB数据集上的单词预测。词向量是自然语言处理中常见的一个操作，是搜索引擎、广告系统、推荐系统等互联网服务背后常见的基础技术。One-hot vector是一种最简单的词向量，但是用处有限。比如，在互联网广告系统里，如果用户输入的query是“母亲节”，而有一个广告的关键词是“康乃馨”。虽然按照常理，我们知道这两个词之间是有联系的——母亲节通常应该送给母亲一束康乃馨，但是这两个词对应的one-hot vectors之

2021-10-05 08:54:58 526

原创 [技术分享]使用VGG和ResNet神经网络对Cafar10图像分类

本文参考《深度学习工程师认证初级教程》中5.3.2节图像分类案例，利用VGGNet和ResNet实现在Cifar10数据集上的图像分类。一、数据集Cifar10数据集是一个大的数据集的子集，包含了10类带标签的图片，图片包括：飞机、汽车、鸟、猫、狗、鹿、蛙、马、船、卡车等10类。每幅为32*32像素彩色图片，每类6000幅图片，总共60000幅图片，其中50000幅为训练数据，10000幅为测试数据。图片互相独立，也就是说在一副图片中不会同时出现飞机和马，仅出现一个分类。数据样例如下图所示：二、配

2021-10-04 00:05:47 959

原创 [技术分享]LeNet卷积神经网络实现手写数字识别

手写数字识别是人工智能入门级的应用案例，同时也有很强的实用价值，例如在邮政系统中存在大量信件的邮编数字的识别。本文参考《深度学习工程师认证初级教程》中5.3.1节手写数字识别案例，采用LeNet实现，书中以Paddle1为主，思路可以参考，这里用Paddle2实现。一、数据集使用经典的MNIST数据集，数据集中已经分配好训练集6000张，测试集1000张，而且将图片大小做了规则化（28*28）和居中化。MINIST数据集的官网上介绍了各类传统和神经网络在这个数据上做分类识别的错误率，可见神经网络相对传统

2021-10-02 22:24:28 783

原创【技术分享】数据治理工具Apache Atlas初体验

企业在数字化转型中会遇到各业务系统多，建设历程长，数据缺乏统一维护，从而导致数据无法贯通，数据字典缺失等问题。数据流转关系往往保留在业务或技术人员的脑海中，难以充分利用和传承。Apache Atlas就是为解决这些问题而产生的数据治理工具，利用Atlas可以自动构建数据字典，自动生成数据血缘，快速检索数据资源，不仅支持Hadoop生态的Hive、HBase、Sqoop等组件，还可以支持传统关系型数据库。一、框架上图可以看出，Atlas的框架有两个特点，一是基于Hadoop生态组件搭建，二是架构有些复杂

2021-09-24 22:25:58 1076

原创【技术分享】有人居然在中本聪钱包(bitcoin core)里留下邮箱和姓名

bitcoin官网的bitcoin core钱包已经更新到v0.21.1版本，第一版v0.1是中本聪开发的，开发完后他就消失了，给世界留下了迷。最近在研究bitcoin core，发现一个很神奇的地方，有人居然在钱包软件中“偷偷”留下了自己的邮箱地址和姓名，看样子还是国人。见下图：在bitcoin core ->“窗口”->"收款地址"中鼠标悬停在地址上，居然出现一个QQ邮箱22000631@qq.com和guanlonghuang的字样。看见这场面，第一反应是下载到了盗版的软件，但是通过

2021-08-02 01:01:42 2685

原创【技术分享】深度学习之感知机实战

一、神经网络介绍深度学习是从神经网络发展而来的，深度学习其实就是深层神经网络。神经网络借鉴了生物学中神经元处理信号的原理和结构。神经元（神经细胞）的功能是接受信号并对其做出反应、传导兴奋、处理并储存信息以及发生细胞之间的联结等，有这些功能，生物才能迅速对环境的变化做出整合性的反应。神经元之间相互连接，当某一神经元处于“兴奋”状态时，其相连神经元的电位将发生改变，若神经元电位改变量超过了一定的数值（也称为阈值），则相连的神经元被激活并处于“兴奋状态”，向下一级连接的神经元继续传递电位改变信息。信息从一个神经

2021-07-20 18:43:31 681 2

原创【技术分享】Hbase列式存储入门

HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。分布式是因为HBase底层使用HDFS存储数据，可扩展也是基于HDFS的横向扩展能力，作为大数据的存储当然支持海量数据的存储，NoSQL非关系型数据库表结构和关系型数据库（如Mysql）的逻辑结构、物理结构很不一样，性质特点、应用场景也不一样。1、逻辑结构1）Name Space命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，h

2021-07-10 18:22:18 1947 5

原创【技术技巧】Linux系统web监控工具-Cockpit

Cockpit是一个部署于Linux服务器，应用于远程web端的监控工具。说是监控工具还漏了一点，Cockpit还可以作为远程连接工具，在没有xshell等连接工具的电脑上也可以用web方式执行命令。安装和运行的方式都很简单，参考这里。...

2021-03-05 23:09:38 782

原创【技术分享】数据仓库搭建

一、引言与准备上一篇文章介绍了数据仓库的基本概念，本文参考《Hadoop数据仓库实践》中案例搭建一个简单的销售订单数据仓库。在Mysql上建立源数据库，在Hive中建立多维数据仓库。源数据库只有产品、客户、销售订单三张表，如下图：产品表中包含：产品编码（主键）、产品名称、产品分类；客户表中包含：客户编码（主键）、客户名称、客户住址街道、客户邮编、客户城市、客户国家；销售订单表包含：订单编号（主键）、客户编号（外键）、产品编号（外键）、订单日期、入库日期、订单金额。数据仓库面向产品、客户、日期、订

2021-03-01 23:02:04 458

原创【技术分享】数据仓库介绍

一. 引言1991年Bill Inmon出版的《Building the Data Warehouse》一书中正式提出了数据仓库的概念，Inmon也被人成为数据仓库之父。从本质上说，数据仓库是一种从操作型系统到决策支持环境的数据流架构模型。这定义看上去有些抽象，解释起来还要从数据库说起。数据库是在信息化初期，给业务使用的记录和处理数据的工具。数据从纸质文件数字化后在数据库中处理和存储。随着信息化发展到一定阶段，商业世界中更需要从数据中分析出有价值的信息，为决策提供可靠的依据。比如老板需要得到哪款女装最适

2021-02-18 22:26:12 370

原创【技术问题】 hadoop启动中datanode未启动解决办法

hadoop启动后用jps命令查看各节点启动情况，发现datanode没有启动，解决办法参考。原因在于多次初始化hdfs，删除/home/hadoop3/hadoop/tmp下所有文件即可。不要每次启动hadoop都初始化hdfs,直接start-all.sh和stop-all.sh启停hdfs。用命令hdfs dfsadmin -report查看hdfs状态终于有了值：root@Master:/usr/local/hadoop/sbin# hdfs dfsadmin -reportConfigu

2021-02-17 22:29:21 345

原创【技术问题】Centos6配置yum源

由于centos6已经停止更新，各yum镜像已经下架了相关依赖包，需要更换yum源为http://mirrors.aliyun.com/centos-vault/，参考1、参考2，具体如下：备份原yum配置文件将目录/etc/yum.repos.d下repo文件放入repo_bak文件夹。下载centos6的yum源配置文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.

2021-02-14 23:19:00 231

原创【技术问题】CDH无法下载之后

Cloudera公司最近在官网宣布：从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。很多以前的文章、书籍中提到CDH大数据平台，都是会引用Cloudera官网下载地址，例如：https://archive.cloudera.com/p/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera现在开始要输入账号密码认证了。用Cloudera的账号密码的话，会得到如下失败信息：40

2021-02-14 23:11:24 5317 8

原创 ARTS打卡45-轻量级非线性笔记本

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode680题. 验证回文字符串 Ⅱ题目描述：给定一个非空字符串 s，最多删除一个字符。判断是否能成为回文字符串。示例 1:输入: “aba”输出: True示例 2:输入: “abca”输出: True解释: 你可以删除c字符。**解题思路：**字符串是否回文很好判断，只需与逆序字符串比较是否一致，但题目是删除0-1个字符是否是回

2021-01-03 09:06:58 156

原创 ARTS打卡44-如何快速打开一个领域

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题题目描述：LeetCode55题. 跳跃游戏给定一个非负整数数组，你最初位于数组的第一个位置。数组中的每个元素代表你在该位置可以跳跃的最大长度。判断你是否能够到达最后一个位置。示例 1:输入: [2,3,1,1,4]输出: true解释: 我们可以先跳 1 步，从位置 0 到达位置 1, 然后再从位置 1 跳 3 步到达最后一个位置。示例 2:

2020-12-27 14:24:25 138

原创 ARTS打卡44-在对赌游戏中如何套利

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode题678. 有效的括号字符串题目描述：给定一个只包含三种字符的字符串：（，）和 *，写一个函数来检验这个字符串是否为有效字符串。有效字符串具有如下规则：任何左括号 ( 必须有相应的右括号 )。任何右括号 ) 必须有相应的左括号 ( 。左括号 ( 必须在对应的右括号之前 )。*可以被视为单个右括号 ) ，或单个左括号 ( ，或一个空

2020-12-19 22:50:15 1277 1

原创 ARTS打卡42-20小时入门新技能

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode593题. 有效的正方形题目描述：给定二维空间中四点的坐标，返回四点是否可以构造一个正方形。一个点的坐标（x，y）由一个有两个整数的整数数组表示。示例:输入: p1 = [0,0], p2 = [1,1], p3 = [1,0], p4 = [0,1]输出: True注意:所有输入整数都在 [-10000，10000] 范围内

2020-12-12 17:33:17 194

原创 ARTS打卡41-网络安全圣杯Burpsuite

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode367题. 有效的完全平方数题目描述：给定一个正整数 num，编写一个函数，如果 num 是一个完全平方数，则返回 True，否则返回 False。说明：不要使用任何内置的库函数，如 sqrt。示例 1：输入：16输出：True示例 2：输入：14输出：False**解题思路：**由于不能使用内置库函数，只好另辟蹊径，n

2020-12-05 23:42:35 164

原创 ARTS打卡40-虚拟机网络配置

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode1460题. 通过翻转子数组使两个数组相等题目描述：给你两个长度相同的整数数组 target 和 arr 。每一步中，你可以选择 arr 的任意非空子数组并将它翻转。你可以执行此过程任意次。如果你能让 arr 变得与 target 相同，返回 True；否则，返回 False 。示例 1：输入：target = [1,2,3,4],

2020-11-28 11:09:19 197

原创 ARTS打卡39-用Python学线性代数

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode728题. 自除数题目描述：自除数是指可以被它包含的每一位数除尽的数。例如，128 是一个自除数，因为 128 % 1 == 0，128 % 2 == 0，128 % 8 == 0。还有，自除数不允许包含 0 。给定上边界和下边界数字，输出一个列表，列表的元素是边界（含边界）内所有的自除数。示例 1：输入：上边界left = 1,

2020-11-21 16:33:22 227

原创 ARTS打卡38-尝试一下新的“验证码”

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode289题. 生命游戏题目描述：根据百度百科，生命游戏，简称为生命，是英国数学家约翰·何顿·康威在 1970 年发明的细胞自动机。给定一个包含 m × n 个格子的面板，每一个格子都可以看成是一个细胞。每个细胞都具有一个初始状态：1 即为活细胞（live），或 0 即为死细胞（dead）。每个细胞与其八个相邻位置（水平，垂直，对角线）的细

2020-11-15 22:24:46 139 1

原创 ARTS打卡-初探Ajax技术

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode1051题. 高度检查器**题目描述：**学校在拍年度纪念照时，一般要求学生按照非递减的高度顺序排列。请你返回能让所有学生以非递减高度排列的最小必要移动人数。注意，当一组学生被选中时，他们之间可以以任何可能的方式重新排序，而未被选中的学生应该保持不动。示例：输入：heights = [1,1,4,2,1,3]输出：3解释：当前

2020-11-08 06:35:25 128

原创 ARTS打卡-初识小程序

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode1304题. 和为零的N个唯一整数题目描述：给你一个整数 n，请你返回任意一个由 n 个各不相同的整数组成的数组，并且这 n 个数相加和为 0 。示例 1：输入：n = 5输出：[-7,-1,1,3,4]解释：这些数组也是正确的 [-5,-1,1,2,3]，[-3,-1,2,-2,4]。示例 2：输入：n = 3输出：[-

2020-11-01 22:26:25 186 1

原创 ARTS打卡35-极速体验Hbase

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode1002题. 查找常用字符**题目描述：**给定仅有小写字母组成的字符串数组 A，返回列表中的每个字符串中都显示的全部字符（包括重复字符）组成的列表。例如，如果一个字符在每个字符串中出现 3 次，但不是 4 次，则需要在最终答案中包含该字符 3 次。你可以按任意顺序返回答案。示例 1：输入：[“bella”,“label”,“roller

2020-10-25 14:45:05 132

原创 ARTS打卡34-使用Jenkins自动化构建项目

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCode861题. 翻转矩阵后的得分题目描述：有一个二维矩阵 A 其中每个元素的值为 0 或 1 。移动是指选择任一行或列，并转换该行或列中的每一个值：将所有 0 都更改为 1，将所有 1 都更改为 0。在做出任意次数的移动后，将该矩阵的每一行都按照二进制数来解释，矩阵的得分就是这些数字的总和。返回尽可能高的分数。示例：输入：[[0,0,1,1]

2020-10-18 21:27:21 149

原创 ARTS打卡33-Flink SQL流计算初探

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题题目：LeetCode561题. 数组拆分 I给定长度为 2n 的数组, 你的任务是将这些数分成 n 对, 例如 (a1, b1), (a2, b2), …, (an, bn) ，使得从1 到 n 的 min(ai, bi) 总和最大。示例 1:输入: [1,4,3,2]输出: 4解释: n 等于 2, 最大总和为 4 = min(1, 2) +

2020-10-07 22:58:23 166

原创 ARTS打卡32-Flink与Python更配

Algorithm做算法题，Review点评英文文章，Tip总结技术技巧，Share做技术分享。每周打卡一次，这就是ARTS打卡。1. 做算法题LeetCdoe面试题 17.26. 稀疏相似度题目描述：两个(具有不同单词的)文档的交集(intersection)中元素的个数除以并集(union)中元素的个数，就是这两个文档的相似度。例如，{1, 5, 3} 和 {1, 7, 2, 3} 的相似度是 0.4，其中，交集的元素有 2 个，并集的元素有 5 个。给定一系列的长篇文档，每个文档元素各不相同，

2020-10-03 00:26:01 371

空空如也

空空如也