- 博客(44)
- 收藏
- 关注
RSS订阅原创 我的AIGC部署实践03
这会是AIGC部署实践的第三回，用免费的GPU部署自己的stable-diffusion下面我们就开始吧。点击最右侧的“开发”->“初始化开发环境实例”然后依次输入3个命令，执行完毕后即可运行。选择完成后点击创建，代码选择暂不上传。2.拷贝frpc内网穿透文件。点击网页终端进入开发环境。
2023-11-10 20:30:08
249
原创 我的AIGC部署实践02
虽然有比较好的结果，不过很多时候我们往往需要根据自己的需要更改代码，那么代码运行及部署的流程是怎么样的呢？5.发现模型分类能力较差，经排查需去掉DogsVsCats.py文件的第44行的助手，保存。项目的各个选项如图所示，其中tf选择2.10版本的，数据集选择官方数据集即可。2.默认进入/gemini/目录下，在右侧目录树中单击code文件夹，进入目录。任务模型选择单机任务，GPU选择 B1.xlarge，启动命令同上为。代码版本选择新建代码版本，镜像选择当前工作空间镜像，点击。4.在网页端运行如下代码。
2023-11-07 21:17:35
318
原创 我的AIGC部署实践01
Hello 大家好，时隔快一年我又回来了，这段时间因为家里有事情失业了一段时间，不过学习的事情不能荒废。我自己通过读AIGC的文章和看相关的代码积累了一定的知识和理解，不过部署的事情还没有涉及，这次正好遇到了datawhale学习的机会，所以就迫不及待尝试，好了废话少说，我们开始吧。
2023-11-04 22:27:03
374
原创 GNN入门之路05
GNN入门之路05在超大图节点上的表征学习 青山不改，绿水长流，我胡汉三又回来了。这次经历立一个小时的漫长等待后，终于把torch-gpu的环境从服务器上转移到了本地，我也得以继续我自己的学习。这次要学习的内容是在超大图节点上的表征学习，那往往很多同学会问这根之前的有什么区别呢，下面我就来简要的叙述一下。节点表征学习背景 给定一个图G=(V,E,A)G=(\mathcal{V}, \mathcal{E}, A)G=(V,E,A)，它由N=∣V∣N=|\mathcal{V}|N=∣V∣个节点和∣E∣|
2022-03-16 17:43:43
1144
原创 GNN入门之路04
GNN入门之路04 不得不说，学习GNN的道路是有一些坎坷，首当其冲的就是搞定环境的问题。这阵子因为和公司现有环境的服务冲突了，所以配置好的环境又挂了，不过还好之前的代码已经运行过了，下面废话少说，进入正题。1.数据存于完整数据集 在之前的博客中，可以发现我们加载数据的方式都是基于一个数据类的；由于之前没有详细的介绍，所以特意在这里说明一下。 我们自定义的类名，继承于InMemoryDataset，它可以把数据全部储存在内存中。class InMemoryDataset(root: Optiona
2022-03-04 17:43:58
1095
原创 GNN入门之路03
GNN入门之路03 这部分的内容很久没更新了，主要是因为本人之前在在线教育公司，赶上双减，被裁了。不过，事情已经过去很久了，而且自己也找到了新的工作，所以现在又来更新博客了。 在图节点预测或边预测任务中，需要先构造节点表征（representation），节点表征是图节点预测和边预测任务成功的关键。在此篇文章中，我们将学习如何基于图神经网络学习节点表征。 在本篇文章中，我们分别基于MLP、GCN、GAT三种方式来比较其在节点分类任务中的效果，废话少说，下面进入正文1.准备工作 ...
2022-03-01 11:36:17
611
原创 GNN入门之路01
GNN入门之路01 此次学习的内容来源于datawhale的6月份组队学习活动，本人由于已经报名的Linux教程的组队学习，所以这个课程没有报上，不过既然是开源学习，没跟上大部队，自己就进行自我学习了，好了，废话少说，下面进入正题。一、图的表示 首先，我们需要对图的概念进项说明，什么是图呢，在我的理解中图就是对实体和关系的一种表示。比如，小王和小李是朋友，在图的存储结构中，这两个人就是两个实体，而朋友关系可以用一条连结的边表示。 图的定义∙\bullet∙ 一个图被记为G={V,E}\mathca
2021-07-08 17:49:52
332
原创 Linux组队学习05
Linux组队学习05 这次是Linux组队学习的最后一次打卡了，算是这次我又完成了一次DataWhale的组队学习任务，废话少说，下面进入正题。1.磁盘 什么是磁盘呢，简单的来说磁盘就是通过磁力的运用记录二进制数据的一种设备，我们通常所使用的windows系统的本地硬盘就是磁盘。磁盘运行原理 简单来说就是多个盘片之间靠主轴连接，电机带动主轴做旋转运动，通过多个磁头臂的摇摆和磁盘的旋转，磁头就可以在磁盘旋转的过程中就读取到磁盘中存储的各种数据。磁盘会以同心圆的方式将存储区域进行划分，划分同心圆
2021-06-26 22:08:05
139
2
原创 Linux组队学习04
Linux组队学习04这次已经是linux组队学习的第四次打卡了，这次介绍的主要内容是文件和目录的管理。废话少说，下面进入正题。1.linux目录 我刚刚接触linux的时候对linux的目录完全是不了解的，比如什么是usr、bin、var等等，在自己第一次进入乌班图的系统是，对于当前的目录体系很不理解，后来了解到了这是由于linux系统中没有windows系统中的硬盘的概念，或者可以理解为所有的目录都在一块硬盘上，Linux目录一般可以分为四种形态：static:不可变的variable:可变
2021-06-22 19:42:06
97
原创 Linux组队学习03
Linux组队学习03今天是Linux组队学习的第三次打开，主要学习了用户和组的概念，教程链接：https://github.com/datawhalechina/team-learning-program/blob/master/Linux/3.Linux%E7%94%A8%E6%88%B7%E5%92%8C%E7%BB%84%E7%AE%A1%E7%90%86.md1.用户和组的介绍用户 首先我们介绍什么是用户，正如同我们常用的windows有用户的概念一样，linux也有用户的概念，各个用户对
2021-06-19 22:06:30
89
原创 Linux组队学习02
Linux组队学习02 今天是linux组队学习的第二次打卡，主要内容是乌班图虚拟机的安装，之前其实由于自己研究的需要在VMware虚拟机上自己安装过乌班图的系统，不过这次的组队学习教程用了其他的软件，所以我也进行了学习，废话少说，进入正题。1.创建虚拟机虚拟机下载地址：https://www.oracle.com/cn/virtualization/technologies/vm/downloads/virtualbox-downloads.html点击这里下载安装包，然后在windows下直接
2021-06-16 20:25:44
97
原创 深度学习推荐系统05
深度学习推荐系统05 时间匆匆不复返，转眼间自己写推荐系统的博客已经最后一期了。其实本来这次学习深度推荐系统是想在DataWhale公众号上组队一期学的，不过因为记错了日子所以没报上名，于是开始了自己的开源学习。虽然没有监督，不过自己也坚持到了最后一次，可喜可贺，好了，废话少说，下面进入正题。1.动机 Deep Interest Network(DIIN)是2018年阿里巴巴提出来的模型，该模型从业务场景出发，根据一个用户的购物序列进行下次购物的预测。从以上几篇博客我们可以发现一个规律，无论是De
2021-04-07 18:08:03
139
原创 深度学习推荐系统02
深度学习推荐系统02这个周末没有学习，原因是去找租的房子了；自从去年蛋壳暴雷再到现在的找房租房，真的是有些心力交瘁，不过好在一切都过去了；我现在可以正式说了，今年的目标是80kg；好，废话少说，下面进入正题！1.背景介绍随着CTR预估任务的发展，我们发现增加组合特征往往可以增加模型预测的准确度；比如一个买了牙刷他接下来可能会继续去买一个牙膏，在增加组合特征往往需要工程师手动构建，这样往往会耗费很大的时间和经历，于是可以自动生产组合特征的wide and deep模型应运而生。源码地址2.模型结构及
2021-03-29 14:25:14
192
原创 深度学习推荐系统01
深度学习推荐系统01同志们，我胡汉三又回来了，经历了过年已经节后的适应时间，我终于可以再次开始今年的学习了。虽然这次的组队学习没报上名，但是闲着不做不是我的性格，所以下面开始我正式的学习。这次学习的内容是推荐系统的DeepCrossing模型，废话少说，下面进入正题。1.介绍这个模型就是一个真正的把深度学习架构应用于推荐系统中的模型了， 2016年由微软提出， 完整的解决了特征工程、稀疏向量稠密化， 多层神经网络进行优化目标拟合等一系列深度学习再推荐系统的应用问题。 这个模型涉及到的技术比较基础，在
2021-03-25 16:51:48
171
原创 知识图谱task03
知识图谱task03这是知识图谱的第三个任务，此任务主要为读取数据，在python中组装Neo4j语句，构建知识图谱，代码如下：build_graph.py#!/usr/bin/env python3# coding: utf-8from py2neo import Graph, Node, Relationshipimport pandas as pdimport reimport osclass MedicalGraph: def __init__(self):
2021-01-13 19:10:39
105
原创 强化学习入坑之路05
强化学习入坑之路05算一算，这是我入坑强化学习的第五次打卡了，感觉属实不易吧，好了，下面进入正题。1.稀疏学习什么叫稀疏学习呢，在之前的强化学习场景中，奖励往往是明确的，比如一局游戏、悬崖寻路等。不过现实生活中很多场景奖励往往不是及时。比如一个小朋友，现在去玩可能会有1的奖励，不过若干天后考试失败，奖励会扣很多。而现在不玩，虽然暂时奖励很少，不过考试时会有100的奖励。那我们如何进行行为的引导就显得很重要。再比如这个案例，我们需要让机器人去学习把板子上的孔穿过柱子，不过这对机器人来说不是几个简
2020-11-05 19:53:14
355
原创 强化学习入坑之路04
强化学习入坑之路04今天继续强化学习的学习，这些内容的学习主要参考了李宏毅的强化学习教程，在此基础上加入了个人的理解和总结。好，废话少说下面开始进入正题。1.Q-learning（DQN）State Value Function首先我们要介绍的就是Q-learning的方法，Q-learning是一种value-based 的方法，在这一类的方法中我们不需要进行策略的学习，需要学习只是价值函数。以小蜜蜂的游戏为例，状态s就是其中一个画面，a为其动作，而我们预测的VπV^{\pi}Vπ就是指在某一
2020-11-03 20:15:14
644
1
原创 强化学习入坑之路03
正式进入之前我们回顾一下强化学习的三个基本概念：行为（actor）、环境（environment）、奖励（reward）例如在电视游戏中，actor 做的事情就是去操控游戏的摇杆，environment 就是游戏的主机，reward function 采取某一行为时得到的分数。而Policy 则可以理解为当给定外界条件时，我们进行的动作输出，一般写成π。在上述场景中Policy可以理解为神经网络。
2020-10-28 11:14:13
295
原创 强化学习入坑之路02
强化学习入坑之路02今天是强化学习开源代码学习活动第二次的打卡时间，经过了又三天的学习，自己对强化学习的了解又深了一步，下面来为大家进行介绍。1.马尔可夫过程及相关概念强化学习的相关概念与马尔可夫过程息息相关，而马尔可夫过程的核心概念就是当前状态下产生下一状态的概率只与当前状态有关，而与之前的状态无关。1.1 马尔可夫链马尔可夫过性质：如果一个状态的下一个状态只取决于它当前状态，而跟它当前状态之前的状态都没有关系。那我们就说这个状态转移符合马尔可夫性质如上图所示，这里有一个包含之前的所有状态的
2020-10-23 17:36:39
250
原创 强化学习入坑之路01
强化学习入坑之路01经过了难得的双节的八天假期，我又回来继续爬坑了。八天的假期让自年初开始没回家的我终于可以在尝尝家里的饭菜了，本来处在减肥期的我在家期间也没有特别控制体重，回来还是增加近4斤的重量，不过在寡人的不懈坚持下终于回到了假前的水准，可喜可贺！好吧，扯远了，请忽略以上信息，下面进入正题。这次入坑的科目是强化学习，是我参加的DataWhale组队学习的第三次，这次的学习是视频加教程的学习形式，下面附上第一节的视频地址：概括与基础 上概括与基础 下第一节的学习内容主要是基本情况介绍和概括，这
2020-10-20 20:13:50
354
原创 Flask+Gunicorn在乌班图上部署
Flask+Gunicorn在乌班图上部署最近因为工作需要，学习了flask由于gunicorn在linux上的部署，这里对自己进行的尝试进行一个总结1.Gunicorn介绍Gunicorn是一个WSGI HTTP服务器,python自带的有个web服务器，叫做wsgiref，Gunicorn的优势在于，它使用了pre-fork worker模式，gunicorn在启动时，会在主进程中预先fork出指定数量的worker进程来处理请求。运用Gunicorn运行Flask首先要确保安装gunico
2020-10-12 20:15:05
298
原创 kkbox-music-recommendation-challenge学习整理
kkbox-music-recommendation-challenge学习整理此方案为7月份通过Kaggle竞赛宝典公众号分享的kaggle比赛的Top方案，本来想直接进行复现后再次学习的，不过由于各种事情没有马上弄完，现在刚刚学习完毕，来进行整理和总结。1.数据介绍该方案是基于LightGBM的框架，特征工程相对较多，我也是为了强化自己的特征工程学习进行了复现和分析。好了，废话少说，下面开始介绍数据：本方案是一个音乐推荐的方案，主要文件如下所示：train.csv列名解释
2020-10-10 17:29:37
1244
2
原创 金融风控入门赛05
金融风控入门赛05这次的风控入门赛终于进入到最后一次打卡了，这是我第二次参加DataWhale组队学习了。其实关于风控的相关内容自己以前也多多少少的学习过，不过这次的组队学习感觉像一次练兵，补足了我往常学习中的不足之处。好了，废话少说，下面进入正题：...
2020-09-27 20:05:25
112
原创 金融风控入门赛04
金融风控入门赛04经过了前几次的练习终于进入了建模和调参的阶段了，说句实话，之前的模型我很少尝试过调参，因为找到合适的完整教程。这次完整的完成了调参过程，感谢DateWhale这次开源。好，废话少说，下面进入正题。1.数据读取数据读取部分没什么好说的，由于这次的主要内容是调参，所以特征读取只是把不合格式的特征去掉了，具体代码如下：导包import pandas as pdimport numpy as npimport warningsimport osimport seaborn as
2020-09-24 21:18:59
108
原创 金融风控入门赛02
金融风控入门赛02上次的分享做了赛题理解，这次来做数据分析。一、数据总体情况本次赛事的特征共有47列，训练集80万条，测试集20万条，基本情况如下所示：import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport datetimeimport warningswarnings.filterwarnings('ignore')data_train = pd.
2020-09-18 20:40:34
103
原创 金融风控入门赛01
金融风控入门赛01我的机器学习实践之旅还在继续，这次我继续参加了DataWhale的组队学习活动，题目是金融风控。一、背景介绍赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。通过这道赛题来引导大家了解金融风控中的一些业务背景，解决实际问题，帮助竞赛新人进行自我练习、自我提高。二、数据介绍赛题以预测用户贷款是否违约为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47
2020-09-15 20:12:13
256
原创 我的NLP实践之旅06
我的NLP实践之旅06经历了这些日子的组队学习，这次的NLP实践之路也逐渐接近尾声了，在以后的日子里，我也要努力学习，多多加油啊，扯远了，下面进入正题Bert通过这次的组队学习，我终于接触到了目前最热门的自然语言处理模型之一的Bert，起初我听到Bert的概念时是完全懵逼的，不过后来在看了李宏毅在YouTube上的视频后自己逐渐理解了其中的具体含义，下面对Bert进行介绍。BERT的全称是Bidirectional Encoder Representation from Transformers，即
2020-08-04 20:44:50
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人