交大博后
文章平均质量分 64
MC数据局
技艺的至臻境界永无尽头,而苦心孤诣者的姓名必将被历史所铭刻。
展开
-
cuda nvidia部署langchain+chatglm
下载torch==2.0.1+cu117,可以观察到cu117/torch-2.0.1有很多的版本,cp38对应python3.8,win_amd64对应windows的64位操作系统,根据自己的实际情况进行下载即可。下载地址:https://developer.nvidia.com/cuda-11-7-1-download-archive?官方下载地址:https://visualstudio.microsoft.com/zh-hans/vs/older-downloads/原创 2023-07-14 10:09:06 · 3308 阅读 · 0 评论 -
树莓派 Raspberry Pi Zero 2W 安装默认系统时 ssh 登录并开启摄像头推流一段时间B
Raspberry Pi Zero 2W有点鸡肋,hdmi口用的microhdmi口,不是树莓派4b的minihdmi口,然后zero 2W也没有usb接口,有一个microusb安卓的otg接口,很烦,还好有wifi+蓝牙模块,这样子还能ssh,不然我先买了minihdmi口,然后再买一个usb安卓的otg接口,真真是。使用putty连接,首先使用IPscan扫一下树莓派在哪个端口,我的是在192.168.1.9,使用putty登录,我的是2105,21年5月出来的。原创 2023-06-30 13:32:04 · 2014 阅读 · 0 评论 -
安装autogpt中出现的问题及安装autogpt的小白教程
7.然后\Auto-GPT\目录中运行.\run.bat(我是在windows server2016环境下的)。在 OpenAI dashboard 页面,单击 "Create new API key"将其输入您的 CMD 窗口,您的目标是将 CMD 窗口导航到您刚刚下载的存储库)复制并粘贴到 .env 文件中的 OPENAI_API_KEY 字段中。您可以在 "API keys" 标签下找到您的 API key)输入 API key 名称和用途,并单击 "Create"同样,将其键入您的 CMD 窗口)原创 2023-04-21 18:12:46 · 1935 阅读 · 3 评论 -
mp4格式视频因为录制到一半断电,导致损坏能修复
此时点击是,然后导入一个正常录制的MP4视频,即可完成修复,不错的免费软件。可以用,完全免费,只是下载页面有英文,安装后是中文的,非常小巧。然后可能会出现缺文件头的提示。原创 2023-01-16 11:46:22 · 1624 阅读 · 1 评论 -
Tesla M40 下Ubuntu anaconda pycharm pytorch安装
显卡:Tesla M40 24GB (2张)显卡驱动版本(推荐):470.57.02cuda版本:11.4安装前需要!!!!!禁用nouveau驱动!!!!!原创 2022-11-25 11:02:15 · 1790 阅读 · 2 评论 -
Dell Poweredge R720服务器支持的显卡
5. Tesla 为数据中心场景设计,硬件设计上也具备更多的 DMA engine、更好的 power efficiency 以及更好的可管理特性,比如支持更多的健康监测和管理特性,还支持可控 GPU Boost。6. Tesla 对许多新的软件特性支持更好,比如 Tesla 支持 GPU Direct RDMA 和 Hyper-Q 特性,更适合多 GPU 并行工作场景使用。7. Tesla 对 Int8 的支持使 Tesla 用于机器学习推理场景的性能得到翻倍增长,GeForce 不支持这种能力。转载 2022-11-23 11:24:46 · 2072 阅读 · 0 评论 -
已有Win10基础上安装Ubuntu双系统(含BIOS操作)
BIOS:(基本输入输出系统),用于电脑开机运行系统各组件时的自我检测,以及加载系统启动引导程序,BIOS设置决定系统以什么方式启动,比如硬盘启动、U盘启动等,另外BIOS控制了电脑所有的低级功能,很多系统设置需进入BIOS界面才能更改。进入BIOS的方法因电脑品牌类型不同而有所差异。选择刚刚下载的ubuntu-20.04.3-desktop-amd64.iso,双击运行 rufus-3.20.exe 程序,默认就可以,点击开始。找办法设置成u盘启动,原创 2022-08-25 13:36:17 · 357 阅读 · 0 评论 -
基于 Data Mesh 构建分布式领域驱动架构的最佳实践
虽然遵守 GDPR 和 BCBS 239 等法规可能是一项挑战,但它们只不过是现代数据平台的最佳实践指南。一个有远见的组织应该有一个数据基础结构(data fabric ),以解决常见的非功能需求,同时还要有一个运营模式,以识别数据的战略价值。本文介绍 Saxo 银行如何借助数据网格架构来实现这一愿景。在数据平台团队的推动下,我们彻底地重新思考了组织内的数据使用情况。“所有数据归人民”,这在企业里是一个非常有吸引力的主张。然而,对于许多组织来说,快速解决集成问题,将数据提供给需要的人来解锁洞察和创新还是一个转载 2022-06-13 19:16:38 · 328 阅读 · 0 评论 -
\begin{algorithm} 笔记
\begin{algorithm}\caption{A}\label{alg:A}\begin{algorithmic}\STATE {set $r(t)=x(t)$} \REPEAT \STATE set $h(t)=r(t)$ \REPEAT\STATE set $h(t)=r(t)$ \UNTIL{B} \UNTIL{B}\end{algorithmic}\end{algorithm}原创 2022-06-11 23:08:16 · 463 阅读 · 0 评论 -
\begin{algorithm} 笔记
\begin{algorithm}\caption{A}\label{alg:A}\begin{algorithmic}\STATE {set $r(t)=x(t)$} \REPEAT \STATE set $h(t)=r(t)$ \REPEAT\STATE set $h(t)=r(t)$ \UNTIL{B} \UNTIL{B}\end{algorithmic}\end{algorithm}原创 2022-06-11 23:07:43 · 819 阅读 · 0 评论 -
\begin{algorithm} 笔记
\begin{algorithm}\caption{A}\label{alg:A}\begin{algorithmic}\STATE {set $r(t)=x(t)$} \REPEAT \STATE set $h(t)=r(t)$ \REPEAT\STATE set $h(t)=r(t)$ \UNTIL{B} \UNTIL{B}\end{algorithmic}\end{algorithm}原创 2022-06-11 23:05:58 · 414 阅读 · 0 评论 -
\begin{algorithm} 笔记
\begin{algorithm}\caption{A}\label{alg:A}\begin{algorithmic}\STATE {set $r(t)=x(t)$} \REPEAT \STATE set $h(t)=r(t)$ \REPEAT\STATE set $h(t)=r(t)$ \UNTIL{B} \UNTIL{B}\end{algorithmic}\end{algorithm}原创 2022-06-11 23:05:00 · 312 阅读 · 0 评论 -
寻找合适的数据目录解决方案
当组织开始采用人工智能、机器学习和大数据分析时,他们意识到这些技术都没有提供神奇的解决方案,可以在一夜之间改变他们业务的一切。事实上,要开始推动实际价值,它们需要对组织的文化、技术设置和运营模式进行根本的、长期的改变。可以实现成功转换的一个关键组件是数据目录,这是一种管理服务,可将您的数据组织在一个地方,并允许您使用元数据对其进行标记,以便您可以更有效地发现和管理它。作为一直在帮助企业设计和构建强大的数据处理解决方案的人,我将分享我对一些最常见的数据目录的经验,以帮助您为您的组织选择正确的数据目录解决方案。转载 2022-06-03 17:25:47 · 1299 阅读 · 0 评论 -
Data Mesh 的原则和逻辑架构
我们渴望通过数据来增强和改善商业和生活的各个方面,这驱使我们在大规模管理数据方面进行范式转变。尽管过去十年的技术进步已解决了数据量和数据处理计算的规模问题,但它们无法解决其他方面的规模问题:数据格局的变化,数据来源的泛滥,数据用例和用户的多样性 ,以及对变化的响应速度。Data Mesh 解决了这些问题,它由以下四个原则组成:面向领域的去中心化数据所有权和架构,数据即产品,自助服务数据基础设施即平台,联合治理。每个原则都驱动着技术架构和人员组织结构的新的逻辑视图。当前,许多企业面临的挑战在于如何在技转载 2022-05-30 00:15:58 · 422 阅读 · 0 评论 -
了解数据网格,解决(几乎)所有数据问题的新趋势
数据网格概念并不像看起来那么新,它在 2019 年左右出现在Zhamak Dehghani之手,她可以被认定为数据网格创始人(正如她自己定义的那样)。这个概念的想法是,以某种方式消除或至少最小化在数据平台架构、数据管理和数据团队中使用的单一和集中方法的约束,即数据仓库和数据湖管理由一个中央团队。Data Mesh建议采用基于分布式架构和业务领域(域)对其数据的责任(治理角色的去中心化)的去中心化模型。本质上,它是指将数据湖和数据仓库分解为更小、更分散的部分的概念。数据网格建立在四个原则之上:第一翻译 2022-05-29 23:19:19 · 343 阅读 · 0 评论 -
Data mesh简介
数据网格概念并不像看起来那么新,它在 2019 年左右出现在Zhamak Dehghani之手,她可以被认定为数据网格创始人(正如她自己定义的那样)。这个概念的想法是,以某种方式消除或至少最小化在数据平台架构、数据管理和数据团队中使用的单一和集中方法的约束,即数据仓库和数据湖管理由一个中央团队。Data Mesh建议采用基于分布式架构和业务领域(域)对其数据的责任(治理角色的去中心化)的去中心化模型。本质上,它是指将数据湖和数据仓库分解为更小、更分散的部分的概念。数据网格建立在四个原则之上:第一原创 2022-05-29 23:12:55 · 726 阅读 · 0 评论 -
neo4j知识图谱最简易教程【极简】
使用python操作neo4j首先我们要先安装一个库 :pip install py2neo,安装py2neo后我们可以使用其中的函数对neo4j进行操作。Neo4j是图数据库,其中最重要的就是结点和边(关系),结点之间靠边联系在一起,每个结点也有属于自己的属性。也就是说我们在用pyhton操作Neo4j的时候只需要创造出节点(Node )和边(Relationship ),如果有需要可以再给结点附上一些属性。注意: 在我们用python的时候我们必须启动Neo4j 如图所示./neo4j sta原创 2022-05-23 22:13:24 · 1822 阅读 · 0 评论 -
61行代码构建最简单区块链
首先,我导入了 hashlib和datetime,让我们分别计算哈希和时间戳块。导入是将代码从一个模块传输到另一个模块的修改。如果没有 datetime 导入,我的区块链将无法处理时间戳,或者在没有 hashlib 导入的情况下无法创建哈希。区块链包含两个类:Block类和Blockchain类。添加到区块链的每个块都使用Block类进行相同的建模。块类该块必须包含以下属性:区块的编号,设置为 0,因为它是链中的第一个区块,称为创世区块 数据,设置为无 接下来,设置为无。这充原创 2022-05-22 12:56:00 · 4960 阅读 · 0 评论 -
排名前 6 位的文本注释工具
即使机器学习和人工智能最近取得了所有进展,我们也无法摆脱信息时代的讽刺现实。为了让人类依赖机器,机器首先需要人类来教他们。因此,如果您在自然语言处理管道中进行任何类型的监督学习,并且很可能是,数据注释在您的工作中发挥了作用。也许你很幸运拥有一个大型的预注释文本语料库。而且您不需要为自己进行所有的文本注释来进行培训。但是,如果您想知道它在生产中的表现如何,则必须在某些时候对文本进行注释。什么是文本注释?文本注释只是读取自然语言数据并以机器可读的格式添加一些关于它的附加信息。这些附加信息可用于训练机翻译 2022-05-21 11:01:21 · 1745 阅读 · 0 评论 -
使用 POTATO 进行可解释的信息提取
关于本文是对POTATO库的介绍。POTATO 是一个独立于语言的human-in-the-loop XAI(可解释 AI)框架,用于提取和评估自然语言处理 (NLP) 中任何分类问题的可解释图特征。文章包括:1.基于规则的文本分类方法的简短介绍 2.在 POTATO 中定义图形模式简介 3.自动学习模式 4.human-in-the-loop (HITL) 框架1.基于规则的文本分类方法的简短介绍目前,文本处理任务(与许多其他领域一样)由机器学习模型主导。但随着这些模型的参数呈指数增长翻译 2022-05-16 22:02:29 · 588 阅读 · 0 评论 -
Python+gensim-文本相似度分析
代码实现#相似度的计算from gensim import corpora, models, similaritiesimport jiebatext1 = '技术侦察措施只能在立案后采取'text2 = '未立案不可以进行技术侦察'texts = [text1, text2]keyword = '未立案可以进行技术侦察'# 1、将【文本集】生成【分词列表】texts = [jieba.lcut(text) for text in texts]# 2、基于文本集建立【词典】,并获得词原创 2022-05-13 15:25:16 · 1252 阅读 · 0 评论 -
词向量和语义相似度
Linguistic Features · spaCy Usage Documentation词向量和语义相似度相似性是通过比较词向量或词嵌入、词的多维意义表示来确定的。单词向量可以使用像word2vec这样的算法生成,通常是这样的array([2.02280000e-01, -7.66180009e-02, 3.70319992e-01, 3.28450017e-02, -4.19569999e-01, 7.20689967e-02, -3.74760002翻译 2022-05-12 15:34:59 · 1064 阅读 · 0 评论 -
从文本中提取知识:使用space和Neo4j的端到端信息提取管道
了解如何使用space实现定制的信息提取管道,并在Neo4j中存储结果信息提取 (IE) 管道从文本等非结构化数据中提取结构化数据。互联网以各种文章和其他内容格式的形式提供了丰富的信息。但是,虽然您可能会阅读新闻或订阅多个播客,但几乎不可能跟踪每天发布的所有新信息。即使您可以手动阅读所有最新的报告和文章,构建数据以便您可以轻松地使用您喜欢的工具查询和汇总数据也将是非常乏味和劳动密集型的。我绝对不想将其作为我的工作。信息提取管道的目标是从非结构化文本中提取结构化信息虽然我已经实现并撰写了有关.原创 2022-05-08 18:45:54 · 703 阅读 · 0 评论 -
交通实测视频与数据共享平台
交通流实测视频与数据共享平台中国城市快速路与城际高速路上的实测交通流视频和数据。http://traflow.fudan.edu.cn/sh.html原创 2022-05-05 22:18:45 · 397 阅读 · 0 评论 -
joblib的dump可以将模型保存到本地
在做模型训练的时候,尤其是在训练集上做交叉验证,通常想要将模型保存下来,然后放到独立的测试集上测试,下面介绍的是Python中训练模型的保存和再使用。scikit-learn已经有了模型持久化的操作,导入joblib即可from sklearn.externals import joblib模型保存>>> os.chdir("workspace/model_save")>>> from sklearn import svm>>>原创 2022-05-02 22:51:39 · 200 阅读 · 0 评论 -
通过主动学习解决数据标注难题
主动学习是通过策略挑选出最具有代表性的样本,然后发送给oracle进行标注。1. 详细介绍 数据标注通常是机器学习中的最大瓶颈,为了训练效果不错的模型,搜寻、管理和标注大量数据需要大量的人力成本和时间。主动学习可以让我们用更少的标记数据来训练机器学习模型。一些优秀的人工智能驱动的公司,例如特斯拉,已经使用主动学习。 为了更清楚的说明传统方法与主动学习之间的差别,我们以过滤垃圾邮件为例。传统的机器学习方法是先收集大量的电子邮件,并将每封电子邮件标记为“垃圾邮件”或“正常邮件”,然后训练机器学习模转载 2022-05-02 12:21:47 · 795 阅读 · 0 评论 -
windows下anaconda安装文本标注工具doccano及其入门操作
doccano是documment anotation的缩写,是一个开源的文本标注工具,我们可以用它为NLP任务的语料库进行打标。它支持情感分析,命名实体识别,文本摘要等任务。它的操作非常便捷,在小型语料库上,只要数小时就能完成全部的打标工作。下面介绍一下如何在windows下anaconda安装、配置和使用doccano。一、doccano 的安装与初始配置打开anaconda prompt中的终端,在终端里输入pip install doccano -i https://pyp..原创 2022-05-02 09:43:49 · 3886 阅读 · 4 评论 -
fabric2.4之blockchain-explorer浏览器
参考:https://github.com/hyperledger/blockchain-explorer搭建方式有两种,一种是基于docker容器,一种是用代码库。使用docker进行部署感觉方便很多。一、使用docker部署1 准备条件:Docker Docker Compose2 启动fabric网络官方指导:Hyperledger Fabric official tutorial这里默认你已经配置好了fabric测试网络。3 配置文件3.1 从仓库获取配置文件原创 2022-04-22 23:51:08 · 1815 阅读 · 1 评论 -
spaCy第一个例程(中文文本自动标注)
使用jupyter一行一行输入,安装了anaconda,选择jupyter notebook,使用jupyter一行一行输入,import spacyfrom spacy import displacy# GPUspacy.prefer_gpu()#版本查看spacy.__version__#测试文本test_txt = "南洋公学由王燕1896年(光绪22年)创建于上海"# 小模型nlp = spacy.load("zh_core_web_sm")do...原创 2022-04-22 09:45:32 · 1618 阅读 · 0 评论 -
解决python -m spacy download en_core_web_sm连接不上服务器的方案
既然 spacy download 失败,那么采用 "下载离线包 -> 安装离线包" 的方法。(方法参考spacy GitHub 官网 https://github.com/explosion/spacy-models 得出)1. 找出与spacy对应的 en_core_web_sm 版本命令行运行如下代码,找到 spacy版本。pip list我的是3.2.4使用 pip 安装安装刚才下载的包,比如pip install cn_core_web_sm-3.原创 2022-04-21 21:14:36 · 2771 阅读 · 1 评论 -
National Information Exchange Model(NIEM)操作手册
NIEM Releases | NIEM GitHubInformation and resources for each NIEM release.http://niem.github.io/niem-releases/国家信息交换模型 (NIEM) 是一个社区驱动的通用词汇表,可以在不同的公共和私人组织之间进行有效的信息交换。NIEM 可以通过提供一致的、可重复使用的数据术语和定义以及可重复的流程来节省时间和金钱。该站点提供信息和资源以帮助社区使用 NIEM。创建一个 NIEM IEPD第 1原创 2022-04-21 20:19:10 · 1129 阅读 · 0 评论 -
win10安装pytorch并解决torch.cuda.is_available()为False的问题
安装步骤(打开 anaconda powershell prompt):cuda与cndnn的安装网络上有很多,添加清华镜像源依次输入以下命令:conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/原创 2022-04-07 23:31:05 · 271 阅读 · 0 评论 -
DagsHub为数据科学家和ML工程师提供GitHub补充
GitHub是一个很好的代码版本控制平台,但它对数据、模型和指标的版本控制并不理想,原因有二:GitHub有一个严格的100MB文件限制,所以上传一个中等大小的二进制文件很容易超过这个限制。用GitHub比较不同版本数据的变化是很混乱的。我曾经在使用git pull后手动接受超过100个数据更改,这是一个痛苦的过程。DVC(数据版本控制)是对二进制数据进行版本控制的理想工具。但是,你不能在GitHub上查看DVC跟踪的文件。如果有一个类似于GitHub的平台,但更适合数据科学家和机器学习工程师,那该转载 2022-04-03 19:24:55 · 1283 阅读 · 0 评论