- 博客(59)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
原创 ChatGPT关联技术
ChatGPT在技术路径上采用了“大数据+大算力+强算法=大模型”路线,又在“基础大模型+指令微调”方向探索出新范式,其中基础大模型类似大脑,指令微调是交互训练,两者结合实现接近人类的语言智能。ChatGPT应用了“基于人类反馈的强化学习”的训练方式,用人类偏好作为奖励信号训练模型,促使模型越来越符合人类的认知理解模式。在大数据、大模型和大算力的工程性结合下,ChatGPT展现出统计关联能力,可洞悉海量数据中单词-单词、句子-句子等之间的关联性,体现了语言对话的能力。
2024-06-15 23:27:40 1422 6
原创 一文搞懂GPU概念、品牌、架构
这么多类型的芯片,各有各的优势,也各有各的不足,协同工作才能发挥最大的效率。我们可以清晰的发现,负责计算的绿色部分占比很小,占比最多的是橙色的存储单元和黄色的控制单元,因此CPU虽然可以应对各种计算,但其最擅长的并不是计算,而是控制和管理。除了CPU、GPU、NPU,我们还听说过大脑处理器BPU、智能处理器IPU、知识处理器KPU等等,其实26个字母可能早就被用完了,除了我们刚才重点介绍的几种类型的芯片,其他的大多是个概念而已,像大脑处理器BPU就是地平线机器人公司用来命名自家芯片的一个注册商标。
2024-04-15 09:16:54 2558
原创 预印本仓库ArXiv——防止论文录用前被别人剽窃
预印本(Preprint)是指科研工作者的研究成果还未在正式出版物上发表,而出于和同行交流目的自愿先在学术会议上或通过互联网发布的科研论文、科技报告等文章。与已经在刊物上发表的文章对比,预印本具有交流速度快、利于学术争鸣、可靠性高的特点。好的期刊录用周期长,等论文发表可能需要半年或一年以后,而科学技术发展非常迅速,某个研究点一年后可能已经不在有创新性。研究者可以从预印本库中发掘相关领域最新的研究点。常见印本服务有:arXiv、RePEc中国预印本服务系统、奇迹文库、中国科学论文在线系统。
2024-04-12 18:03:29 2781
原创 图神经网络导论 - 刘知远
近年来,机器学习领域的发展迅速,主要表现在多种神经网络架构的出现。尽管不同的神经网络架构相差甚远,但现有的神经网络架构可以分为几个类别:卷积神经网路是前馈神经网路的特殊形式,FNN通常是全连接的神经网路,CNN则保留了局部链接性,CNN通常包含卷积层、池化层和数个全连接层。目前有数个经典的CNN 架构,如LeNet、AlexNet、VGG、和GoogleLeNet。循环神经网络不仅仅从其他神经元接收信号和输入信息,同时有自身的历史信息。
2024-03-02 00:31:13 985
原创 ChatGPT AI革命-阅读心得
本书围绕2022年11月OpenAI发布ChatGPT,ChatGPT在人工智能领域引起巨大轰动,对ChatGPT的发展历程、用到的技术、ChatGPT与搜索引擎的结合、ChatGPT的商业化落地、ChatGPT+编程、AIGC的产业生态、AIGC背后的道德伦理与法律进行了概况与分析。
2024-01-25 11:31:20 1289
原创 手写单层神经网络预测波士顿房价
波士顿房价预测搭建神经网络搭建神经网络把数据集拆成训练集、验证集数据集归一化建立一个单神经元的“类”,属性有w和b向前运算的函数(预测房价)反向传播,训练参数的函数a.根据实际房价计算平方差b.根据实际房价计算梯度c.根据梯度优化参数d.把每一步的优化结果可视化出来建立神经网络对象,读取数据,开始计算以下是全部代码,房价数据import numpy as npimport matplotlib.pylab as pltdef loadData(): datafil
2023-09-12 17:19:14 206
原创 VMware虚拟机的基本操作:快照和克隆
一般集群包含多个节点,每个节点都用装系统的方式创建节点的话,比较费时费力。创建好一个模板机后可以通过VMware的克隆功能进行复制克隆虚拟机,克隆的虚拟机跟模板机一模一样,此时还不能直接用克隆机,因为克隆机和模板机的ip是一样的,需要修改克隆机的ip,必要时还需要修改克隆机的主机名。“快照”是虚拟机磁盘文件(VMDK)在某个点及时的副本。系统崩溃或系统异常,你可以通过使用恢复到快照来保持磁盘文件系统和系统存储。当升级应用和服务器及给它们打补丁的时候,快照是救世主。修改克隆机的ip和主机名参考。
2023-07-03 18:27:26 1500
原创 Linux离线安装MySQL5.7
1.下载安装包下载地址:https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar上传到 /home 目录下2.解压安装包tar -xf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar -C /home/mysql/3.查询并卸载系统自带的Mariadbrpm -qa | grep mariadbrpm -e --nodeps 文件名4.查询并卸载系统
2021-12-10 10:31:05 1256
原创 IntelliJ IDEA 2020.1插件加载不出来解决办法
IntelliJ IDEA 2020.1插件加载不出来解决办法问题现象解决办法:问题现象插件一直显示不出来:解决办法:访问IDEA 插件官网 https://plugins.jetbrains.com/search搜索scala:单击Install to IntelliJ IDEA 2020.1提示是否安装scala插件,点击OK...
2021-10-26 16:38:21 1124
原创 CentOS7安装mysql
CentOS7安装mysql1.查看是否已安装2. 下载源4. 安装4.1 安装mysql4.2 修改密码策略4.3 修改密码4.4 设置远程访问4.5 配置默认编码为utf8官方安装教程:https://dev.mysql.com/doc/refman/5.7/en/linux-installation-yum-repo.html1.查看是否已安装rpm -qa | grep mysql如果已安装则删除 MySQL 及其依赖的包yum -y remove mysql-libs.x86_64
2021-10-06 22:30:04 233
原创 Scala环境搭建&创建项目工程&关联源码
Scala环境搭建&创建项目工程&工程的基本配置一、Scala环境搭建1.1 下载1.2 安装scala1.3 IDEA编辑器Scala插件安装二、创建Scala项目工程2.1 创建IDEA项目工程2.2 关联Scala源码2.3 官方编程指南一、Scala环境搭建1.1 下载下载地址:https://www.scala-lang.org/download/scala2.html下载两个文件:安装包和源码包源码包用于在代码中关联源码。1.2 安装scala(1)首先确保JDK
2021-10-05 18:15:54 537
原创 IDEA注释模板快捷键设置
创建类和方法的注释模板(通过快捷键使用)类注释File->Settings->Editor->Live Templates->Class/** * @Description: TODO * @author: yourname * @date: $DATE$ $TIME$*/配置成功后,在编辑框输入cls就可联想到,如下图:敲击回车按键即可:方法注释** @Description: TODO* @author: yourna.
2021-10-05 14:56:37 1881
原创 Kafka集群部署安装及使用
Kafka集群部署安装及使用一、安装部署1.1集群规划1.2 jar包下载1.3 部署1.4 Kafka命令行操作二、Kafka API的使用2.1 Producer API2.1.1 消息发送流程2.1.2 异步发送API2.2 Consumer API2.2.1 自动提交offset2.2.2 手动提交offset一、安装部署1.1集群规划hadoop100hadoop101hadoop102zookeeperzookeeperzookeeperkafkakafk
2021-10-05 11:47:38 4451
原创 flume概述、安装、入门案例
flume概述、安装、入门案例一、Flume概述1.1 Flume定义1.2 Flume基础架构1.2.1 Agent1.2.2 Source1.2.3 Sink1.2.4 Channel1.2.5 Event二、Flume入门2.1 Flume安装部署2.1.1 安装地址2.1.2 安装部署2.2 Flume入门案例2.2.1 监控端口数据官方案例2.2.2 实时监控单个追加文件2.2.3 实时监控目录下多个新文件2.2.4 实时监控目录下的多个追加文件一、Flume概述1.1 Flume定义Flu
2021-10-03 17:37:22 226
原创 Jupyter Notebook的安装与使用
Jupyter Notebook的安装与使用一、简介二、安装2.1 安装Anaconda2.2 pip安装三、启动Jupyter Notebook四、Jupyter Notebook的使用4.1 创建新文件4.2 两种模式4.3 Jupyter中的魔法函数一、简介Jupyter Notebook是以网页的形式打开,可以在网页页面中直接编写代码和运行代码,代码的运行结果也会直接在代码块下显示。保存的文档后缀名为.ipynb的JSON格式文件,不仅便于版本控制,也方便与他人共享。文档还可以导出为:HTML
2021-09-26 01:34:12 498
原创 pycharm下载安装及创建工程
pycharm下载安装及创建工程1. 下载2. 创建工程PyCharm是一种Python IDE(Integrated Development Environment,集成开发环境),带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具,比如调试、语法高亮、项目管理、代码跳转、智能提示、自动完成、单元测试、版本控制1. 下载网址:https://www.jetbrains.com/pycharm/download/#section=windows选择社区版本:安装过程省略注意:u
2021-09-19 01:58:29 228
原创 Xshell、Xftp的下载安装和使用教程
Xshell、Xftp的下载和安装教程1. 下载2. Xshell的使用3. Xftp的使用Xshell 介绍:Xshell是一个功能强大的终端模拟器,支持SSH,SFTP、TELNET、远程登录命令连接,让本地和服务器之间产生连接。Xftp 介绍:Xftp是一个灵活和轻量级SFTP / FTP客户端用户需要安全地通过网络传输文件。让本地和服务器之间进行文件交换(上传和下载)。1. 下载https://www.netsarang.com/zh/all-downloads/选择下载Xshell和X
2021-09-19 00:22:43 2348
原创 4.4 重置CentOS7系统root用户密码
密码是我们登录系统的凭证,但有时我们可能会忘记密码。在 Windows 中,如果我们忘记了登录密码,那么可以使用 PE 系统来轻松地重置密码,而在 Linux 中我们并不能同样使用 PE 系统来重置密码,可以使用 Linux 的 emergency 模式来重置密码,操作步骤如下所述。1. 重新启动系统重新启动系统后,在如图所示的界面中可以在 5 秒内通过键盘方向键来阻止系统正常启动,然后通过键盘方向键移动到第 1 行并按 E 键来编辑系统的启动参数。2. 进入 emergency 模式通过键盘方向
2021-09-11 23:40:52 273
原创 4.2 使用MobaXterm远程连接Centos7
使用MobaXterm远程连接Centos71. 下载MobaXterm2. 使用MobaXterm连接服务器3. 遇到的问题Linux 大多用于服务器,而服务器不可能像个人计算机一样被放在办公室,它们是被放在IDC 机房的,通常我们是没有权限进入机房的,即使我们能进入机房,也不会希望每次操作都要去一趟机房,所以可以远程登录 Linux 进行相关操作。比如,我们在服务器提供商那里购买了服务器后,服务器提供商会提供服务器的 IP 地址和密码给我们,这样就可以远程登录到服务器上进行操作而无须知道服务器在哪个机
2021-09-11 23:01:36 2302
原创 4.1 CentOS7系统安装后的基本配置
CentOS7系统安装后的基本配置1. 修改主机名2. 网络配置3. 配置防火墙和SELinux4. 更换国内Yum源5. 配置系统时间同步1. 修改主机名方法一:hostname命令一次性修改,重启后恢复切换用户或重新打开终端就可以看到主机名已经修改,重启系统后恢复。方法二:hostnamectl命令永久修改,会修改/etc/hostname的内容方法三:修改主机名配置文件(需要重启,永久修改)主机名配置文件中写入主机名:2. 网络配置进到桌面后,再桌面点击右键,选择最下面“打
2021-09-11 23:01:10 1878 2
原创 2. 安装GNOME和KDE图形化桌面
安装GNOME和KDE图形化桌面1.使用CD/DVD介质配置本地Yum源2.安装GNOME图形化桌面2.1 安装GNOME:2.2 设置在系统启动时进入图形化桌面3.安装KDE图形化桌面3.1 安装KDE:3.2 设置在系统启动时进入图形化桌面环境准备:最小化安装的Centos7系统1.使用CD/DVD介质配置本地Yum源首先在 VMware Workstation 中添加 CD/DVD 虚拟光驱并使用 CentOS ISO 镜像文件,然 后在 CentOS 中挂载光驱,命令如下:mkdir /mn
2021-09-11 14:46:45 3200
原创 3.2 CentOS7最小化安装
CentOS7最小化安装1.1 下载CentOS7镜像1.2 创建虚拟机1.3 系统安装1.1 下载CentOS7镜像下载Centos7镜像地址:下载链接,链接中有不同的镜像,自行选择选择DVD版的镜像进行下载:1.2 创建虚拟机打开VMware Workstation Pro 15(安装教程),点击创建新的虚拟机,选择自定义安装。选择Workstation 15.x,点击下一步选择 稍后安装选择Linux -> Centos 7 64位,根据自己要安装的系统类型进行选择,
2021-09-11 14:14:07 878
原创 3.1 安装VMware Workstation Pro 15
1.安装VMware Workstation Pro 15VMware Workstation是一款功能强大的桌面虚拟计算机软件,提供用户可在单一的桌面上同时运行不同的操作系统,和进行开发、测试 、部署新的应用程序的最佳解决方案。1.1 下载本次使用的版本是VMware Workstation Pro 15。下载的方法不多介绍,百度搜索VMware 15。可参考此链接(随着时间流逝可能会失效)。1.2 安装双击打开安装包:接受许可,点击下一步;修改安装目录到D盘,勾选增强型键盘驱动程序:
2021-09-11 13:39:26 308
翻译 大数据三篇论文—Google Bigtable中文版
Google Bigtable 中文版Abstract1 Introduction2 Data Model3 API4 Building Blocks5 Implementation5.1 Tablet Location5.2 Tablet Assignment5.3 Tablet Serving5.4 Compactions6 Refinements7 Performance Evaluation8 Real applications8.1 Google Analytics8.2 Google Earth
2021-08-23 21:09:45 3607
翻译 大数据三篇论文—Google MapReduce中文版
MapReduce: 超大机群上的简单数据处理1 介绍2 编程模型2.1 实例2.2 类型2.3 更多实例3 实现3.1 执行预览3.2 master 数据结构3.3 容错3.4 存储位置3.5 任务粒度3.6 备用任务4 技巧4.1 分割函数4.2 顺序保证4.3 combiner 函数4.4 输入输出类型4.5 副作用4.6 跳过错误记录4.7 本地执行4.8 状态信息4.9 计数器5 性能5.1 机群配置5.2 Grep5.3 排序5.4 备用任务的影响5.5 机器失效6 经验6.1 大规模索引7 相
2021-08-23 19:04:33 2943
翻译 大数据三篇论文—The Google File System中文版
The Google File System中文版摘要1. 简介2.设计概述2.1设计预期2.2 接口2.3 架构2.4 单一Master节点2.5 Chunk尺寸2.6 元数据2.6.1 内存中的数据结构2.6.2 Chunk位置信息2.6.3 操作日志2.7 一致性模型2.7.1 GFS一致性保障机制2.7.2 程序的实现3. 系统交互3.1 租约(lease)和变更顺序3.2 数据流3.3 原子的记录追加3.4 快照4. Master节点的操作4.1 名称空间管理和锁4.2 副本的位置4.3 创建,重
2021-08-23 18:17:21 2250
原创 啤酒和尿布:一文看懂关联规则
啤酒和尿布:一文看懂关联规则一、关联规则二、Apriori算法2.1 相关概念2.2 实现步骤2.3 代码实现谈到大数据在零售业的应用,不得不提到一个经典的营销案例–啤酒和尿布的故事,有个有趣的现象——啤酒和尿布赫然摆放在一起出售,但是,这个奇怪的举措却使啤酒和尿布的销量双双增加了。这是发生在美国沃尔玛超市的真实案例,并一直为商家所津津乐道。为人们所知的是因为男人去超市买尿布时顺手买了啤酒,所以啤酒和尿布销量增加,那么从数据和算法层面分析,大家知道为什么啤酒和尿布放在一起销量会增加吗。一、关联规则站
2021-08-23 11:36:40 3134
原创 python零基础简明教程
从零开始学Python一、安装Python二、基本操作三、基本运算四、判断控制语句四、循环语句五、定义函数一、安装Python推荐初学者安装Anaconda。安装时选择Python 2.7版本。对于熟悉Matlab或者R的初学者,推荐使用Anaconda中的Jupyter和Spyder作为python的编译器。二、基本操作1.输出到屏幕Python中print函数可以将结果输出到屏幕。在Python 2.7中,以下两种方式皆可。print "Hello SofaSofa!"print('He
2021-08-19 22:41:06 2050
原创 python实现分词和词云制作
python实现分词和词云一、下载wordcloud安装二、wordcloud的使用2.1 分词2.2 制作词云2.3 运行输出三、踩坑记录制作词云的目的是找出物联网专业职位所需技能的关键词,首先爬去了boss直聘和智联招聘上的物联网专业职位的技术要求,爬取方法参考链接。一、下载wordcloud安装下载链接,根据系统类型和python版本选择下载合适的wordcloud版本安装命令:pip install wordcloud-1.8.1-cp36-cp36m-win_amd64.whl二、wo
2021-08-13 00:40:16 3714
原创 Hbase概念、分布式集群部署和使用
一、概述HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统;HBASE只做查询和处理;数据量小的时候不适合用HBASE;HBASE写的时候非常慢,因为文件存在HDFS上;(读和写是一个此消彼长的过程,因为向快速的查,就必须建索引,写的时候就必须维护索引,就会变慢)HBASE的元数据表hbase:meta的位置存放在zookeeper上,HBASE从这个位置读取元数据,再根据元数据从HDFS读取数据;二、部署三、使用四大Nosql:图数据库:任务关系;文档数据库:键值对数
2021-08-02 22:52:02 504
原创 zookeeper的概念、集群部署、使用
一、概念分布式集群的协调者,选举出namenode,zk=文件系统+通知机制二、部署2.1 下载下载官网下载完成后把安装包上传到虚拟机hadoop100,上传方法请参考教程中的2.1 上传安装包2.2 安装安装的前提:确认关闭防火墙进入到安装目录:cd /usr/local/src解压:tar zxvf apache-zookeeper-3.5.5-bin.tar.gz修改名字: mv apache-zookeeper-3.5.5-bin zookeeper-3.5.5(这一步不是必要
2021-08-02 17:48:01 941
原创 Maven安装及配置IDEA
1.资源准备下载Maven:官网下载地址,点这里可下载旧版本下载IDEA:官网下载地址,专业版需要购买,可使用30天,也可下载社区版,网上也有很多破*解方法,自行查找。2.配置Maven2.1 解压maven,把maven-3.5.4放到D:\Program Files2.2 配置环境变量(1)新建->变量名"MAVEN_HOME",变量值"D:\Program Files\maven-3.5.4"(即maven的安装路径)(2)编辑->变量名"Path",在原变量值的最后面加
2021-07-27 21:54:58 291
pyhanlp依赖包hanlp-1.7.4-release.zip
2019-09-11
编译好的pyltp,分享给大家,python3.5 3.6两个版本 pyltp-python3.5&3.6.zip
2019-09-09
急求用opencv和VS2012实现人脸检测和识别的代码
2016-05-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人