LLM + RecSys 初体验(上) 最近在逛小红书的时候,发现了一个新的GPU算力租赁平台,与AutoDL和恒源云等平台类似。正巧,官网有活动,注册即送RTX 4090三个小时,CPU 5 小时。正巧最近在测试 LLM+推荐系统的 OpenP5 平台,果断入手测试!你们注册后也可以推荐给自己的朋友,这样赠送的时长是可以叠加的。
论文精读: MapReduce MapReduce是一种用于处理与生成大数据集的编程模型和实现。MapReduce中分为和。map方法处理kv对,并生成中间kv对(intermediate),reduce方法将中间kv对根据相同的key合并起来。对输入数据进行分区在集群上调度程序执行处理机器故障管理机器间通信。
6.824 Lab1 MapReduce 在这个实验中,将构建一个MapReduce系统,并实现一个调用Map和Reduce函数并处理文件读写的worker进程,以及一个进程,它将任务分发给worker进程并处理挂掉的worker进程。MapReduce论文(注意:本实验中使用的是“coordinator”而不是论文的“master”。)
Linux CentOS 7安装fzf和bat命令 在bashrc中定义函数fd, 作用:筛选当前目录下的所有文件夹, 回车就能直接到该目录下;目录结构越复杂,效果越明显;fd() {local dircd "$dir"}在bashrc中定义函数fe, 作用:筛选当前目录下的所有文件,回车直接vim打开所选文件;fe() {thenfi}在bashrc中定义函数fh, 作用:近似等于ctrl+r,从历史命令中搜索想要重新执行的命令,回车返回选择的命令行;fh() {}
Linux时间校准 今天在centos上设置定时任务,发现执行了但时间不对,用date命令读取系统时间,发现系统时间不是当前时间。网上说用命令ntpdate pool.ntp.org校准,发现校准后date读取的时间和标准时间相差16个小时。后来找到了靠谱的校准方法,特记录一下。NTP服务器(上海) :ntp.api.bz。
Macos Maven配置镜像源 (homebrew安装目录如下:/opt/homebrew/Cellar/maven/3.8.6/libexec/conf/settings.xml)由于原本默认的Maven源下载特别慢,本文记录了更换maven源的方法。
【信息检索】链接分析 预先设定一些程序参数:根据题目中给定的图创建邻接矩阵:对于此题,邻接矩阵如下所示:linkMatrix[i][j]=1说明有一条从节点i指向节点j的有向边。然后开始计算转移概率矩阵:一共三步:进行幂迭代法:初始化概率分布向量:然后根据如下公式进行迭代,直到概率分布向量收敛:最终计算结果如下所示:迭代一次后即可收敛即Pagerank(d1)=0.017,Pagerank(d2)=0.492,Pagerank(d3)=0.492。简单分析可知,d2与d3是对称的。同时由于没有d
【信息检索】分类和聚类的实验 请自行从学校公文通获取2021年的新闻文档(爬取或手动下载),要求包括以下150篇新闻文档:“党政办公室”发布的最新的30篇新闻文档,“教务部”发布的最新的30篇新闻文档,“招生办公室”发布的最新的30篇新闻文档,“研究生院”发布的最新的30篇新闻文档,“科学技术部”发布的最新的30篇新闻文档。将“党政办公室”、“教务部”、“招生办公室”、“研究生院”和“科学技术部”作为5个class,并通过互信息和X^2为每个class选出最相关的15个特征(包含特征名称和相应的值,小数点后保留2位),并对结
【信息检索】文档评分和概率检索模型 (1). 用Java语言或其他常用语言计算附件“HW4_1.txt”中的80个英文文档(每行表示一个document,文档编号1~80)两两之间的相似度值,并据此为每个文档返回相似度最大的3个文档。要求使用cosine similarity和TF-IDF计算文档之间的相似度(保留小数点后两位),英文单词一律转为小写,不做过滤或其他转换。1.首先读取文件,转换为小写后根据正则表达式对文本进行切割分割原则是非 字母与’-’结果:2.统计文档集的字典将所有term都存入set集合之中进行去重3
【计算机网络】交换机与VLAN配置 实验目的了解eNSP软件的使用方法。了解交换机和VLAN的配置方法。实验环境Windows系统eNSP网络仿真软件实验内容:连接双节点网络登录交换机配置双节点网络VLAN配置四节点网络VLAN实验步骤:1.连接双节点网络选用S3700型号交换机和PC终端,以及Copper型号线(即以太网线),按照下图所示的接口建立拓扑。并开启设备,所有接口指示灯为绿色。双击PC的图标,进入基础配置页面,为两台主机设置同一网段的IP地址。通过如上配置,就可以将两台PC存在于同一网
【信息检索】索引构建和压缩的实验 (1). 针对附件“HW3.txt”中的600个文档(每行表示一个document,文档ID为1至600)(i)使用jieba中文分词(https://pypi.org/project/jieba/)或其他中文分词工具进行分词;(ii)统计600个文档中的token的总数和term的总数;(iii)构建倒排索引,并输出以下七组查询的文档ID:“迁移”,“迁移学习”,“推荐”,“深度学习”,“隐私”,“跨领域”,“跨域”。代码截图和详细的文字说明:读取文档# 读取文档,并按行分隔doc =
吴恩达机器学习作业 基于BP神经网络的手写数字识别 前言参考代码与作业指引请自行下载:github地址,以下为答案与解析。实验目的:理解BP神经网络的基本原理掌握BP神经网络的模型选择和参数估计方法利用手写数字数据,掌握BP神经网络,并实现对手写数字数据的识别实验要求:根据所给文档和代码注释的提示独立完成代码中的缺失部分。根据实验报告模板的步骤完成实验报告(需要有必要的图或表)方法、步骤:1. 代价函数在nnCostFunction.py中,编写代价函数根据数学公式实现代码如下所示: # 2.计算代价函数
【计算机网络】Socket网络编程 实验目的理解UDP与TCP套接字的区别掌握UDP和TCP套接字编程方法了解简单网络应用的编程思路了解网络编程相关的一些库实验环境macos + python3实验内容:URL 请求程序系统时间查询网络文件传输网络聊天室实验步骤:1.URL请求程序代码截图与文字解释:调用requests库,可以获得url信息r.content中包含了html内容,然后将其写入file之中 url = input('Enter a URL: ') r = requests
【信息检索】词典、倒排记录表和容错式检索 博客地址:https://www.codingshen.com/archives/%E4%BF%A1%E6%81%AF%E6%A3%80%E7%B4%A2%E8%AF%8D%E5%85%B8%E5%80%92%E6%8E%92%E8%AE%B0%E5%BD%95%E8%A1%A8%E5%92%8C%E5%AE%B9%E9%94%99%E5%BC%8F%E6%A3%80%E7%B4%A2(1). 考虑利用如下带有跳表指针的倒排记录表和两个中间结果表(如下所示,不存在跳表指针)分别进行合并操作。3 5
利用Docker 基于Uptime Kuma搭建服务器监控 效果图界面入口可以使用Uptime Kuma对于服务器或者网站运行情况进行监控搭建方法测试服务器:腾讯云服务区器 centos7.6安装Docker如果先前已经安装了docker,可以忽略此步运行指令curl -sSL https://get.daocloud.io/docker | sh安装Docker镜像安装Docker镜像docker volume create uptime-kuma运行服务,服务端口号为3001service docker startdocke
【操作系统】并发程序设计 参考博客地址实验目的加深对进程的创建、运行、撤销过程的直观认识;掌握通过操作系统的用户接口(命令行和系统函数)控制进程状态的方法;了解多进程在多核处理机上的并发执行过程;实验环境Centos 7.6实验内容:可以使用Linux或其它Unix类操作系统;学习该操作系统提供的命令行启动、撤销进程的方法;学习该操作系统提供的系统调用接口(借助于库函数的形式间接调用)启动和撤销进程;利用该操作系统提供的工具观测这些程序的并发执行过程以及状态转换过程。实验步骤:1. 预备部分:1) 学习t
Macos利用sshfs 将远程服务器挂载到访达 个人博客地址:www.codingshen.com系统信息首先说明一下我的机器信息:MacbookPro M1 Pro 14英寸macos版本:Monterey 12.3前言经过一系列的尝试以及网上的教程,我尝试使用brew install sshfs指令直接下载,发现会失败。原因是由于macfuse无法安装。同时我又尝试从github官网上下载,最新版本sshfs3.0+,由于需要fuse3的支持(但是fuse3并没有加入对macos的支持),同样失败了。准备工作前面提到了两个失败的
王者荣耀英雄战力 最低战区查询 个人博客地址: www.codingshen.com今天在逛博客的时候看到了一位博主分享了一个开源的网址,用于查询王者荣耀英雄战力。原网址如下:https://lza59.com/archives/25.html。感觉很有意思就转了过来。希望西施姐姐早日重回金牌🏅!!前言王者荣耀中,我们玩的每个英雄,都会形成自己的荣耀战力,其实英雄荣耀战力排名不仅跟英雄具体战力有关系,还跟玩家选择的荣耀战区有关系,越是冷门的地方人越少,战力排名越低。很多小伙伴们打王者希望更轻松的拿到金标,鉴于此向大家分享王者战
【计算机网络】使用WireShark数据包抓取与分析 实验目的学习安装、使用协议分析软件,掌握基本的数据报抓取、过滤和分析方法,能分析HTTP、TCP、ICMP等协议。实验环境使用具有Internet连接的MacOs操作系统;抓包软件Wireshark。实验内容:安装学习Wireshark软件抓包与分析HTTP协议分析TCP协议分析TCP三次握手分析ICMP协议实验步骤:1. 安装学习Wireshark软件(1) 首先在官网下载wireshark软件根据系统版本选择macOS Arm 64-bit.dmg并安装(2) 运行