- 博客(62)
- 收藏
- 关注
RSS订阅原创 lora模型训练
Image folder to caption (选择前面准备的图片所在文件夹)图片目录格式为(单批次训练次数+_+自定义名称)train batch size 设置为1。
2024-02-21 23:40:18
466
原创 OSI七层协议模型与记忆口诀
https://blog.csdn.net/f601323135/article/details/121332697
2022-09-23 00:15:09
836
1
原创 Commit message 格式
Commit messages的基本语法当前业界应用的比较广泛的是 Angular Git Commit Guidelines具体格式为:<type>(<scope>): <subject><BLANK LINE><body><BLANK LINE><footer>type(必须)用于说明git commit的类别，只允许使用下面的标识。feat：新功能（feature）。fix/to：修复bug
2022-04-17 04:42:27
600
原创 前端项目构建 vite2 vue3 ts Vuex4 VueRouter4 Element-plus axios
项目构建`vite2` `vue3` `ts` `Vuex` `VueRouter` `Element-plus` `axios`
2022-04-16 12:35:05
647
原创 创建kubernetes 负载均衡器 ingress-controller
#kubesphere 负载均衡器kubectl apply -f ingress-controller.yamlkubectl get pods -ANAMESPACE NAME READY STATUS RESTARTS AGEingress-nginx nginx-ingress-controller-7qvn9
2022-04-14 18:58:30
267
原创 centos7 集群准备
centos7 集群准备#设置 hostnamehostnamectl set-hostname masterhostname#关闭防火墙systemctl stop firewalldsystemctl disable firewalldsystemctl status firewalld#禁用交换空间swapswapoff -avi /etc/fstab#注释掉swap这一行并保存#/dev/mapper/centos-swap swap
2022-04-14 15:32:24
143
原创 hdfs、hive、sqoop、spark环境搭建
2.5 HDFS环境搭建python安装参考hadoop安装包链接：https://pan.baidu.com/s/1DQl8yUcuY9fgjvw_VWSzFQ提取码：6666下载jdk 和 hadoop 放到 ~/software目录下 然后解压到 ~/app目录下tar -zxvf 压缩包名字 -C ~/app/配置环境变量vi ~/.bash_profileexport JAVA_HOME=/root/app/jdk1.8.0_321export PATH=$J
2022-04-07 18:15:41
3001
原创 k8s集群部署
安装docker sudo yum install -y docker-ce-20.10.14 docker-ce-cli-20.10.14 containerd.io systemctl enable docker && systemctl start dockercat <<EOF > /etc/docker/daemon.json{ "registry-mirrors": [ "自己的阿里云容器加速地址", "http://hub-.
2022-03-31 22:18:51
173
原创 wsl安装子系统
https://docs.microsoft.com/en-us/windows/wsl/install1.启用或关闭windows功能 ->打开适用于Linux的Windows子系统和虚拟机平台下载并安装Linux 内核更新包。https://docs.microsoft.com/windows/wsl/wsl2-kernel#如果进入出现问题# 通过管理员身份打开Windows PowerShell#重置Winsock目录netsh winsock reset#再次进入子系统#
2022-03-18 19:32:46
1276
原创 nodejs yarn vue-cli环境搭建
Vue前端项目搭建1.安装node.js2.设置npm包存放路径(环境目录path 添加E:\npm_package)npm config set prefix "E:\npm_package\npm_global"npm config set cache "E:\npm_package\npm_cache"3.安装cnpmnpm install -g cnpm --registry=https://registry.npmmirror.com4.安装yarnnpm install -g y
2021-12-10 16:20:23
619
原创 SQL基础：初识数据库与SQL-安装与基本介绍等 Task01
SQL基础：初识数据库与SQL-安装与基本介绍等 Task01三、练习题3.1编写一条 CREATE TABLE 语句，用来创建一个包含表 1-A 中所列各项的表 Addressbook （地址簿），并为 regist_no （注册编号）列设置主键约束表1-A 表 Addressbook （地址簿）中的列CREATE TABLE Addressbook ( regist_no INTEGER NOT NULL, name VARCHAR(128) NOT NULL, addresss
2021-12-04 10:26:49
110
原创 Python数据分析：从0完成一个数据分析实战（1天）Task04
Python数据分析：从0完成一个数据分析实战（1天）Task041、赛前准备1.1 前言本次赛事由开源学习组织Datawhale主办，主要带领学习者利用Python进行数据分析以及数据可视化，包含数据集的处理、数据探索与清晰、数据分析、数据可视化四部分，利用pandas、matplotlib、wordcloud等第三方库带大家玩转数据分析～还有丰富礼品等你来领取哦～学习赛事地址：https://tianchi.aliyun.com/competition/entrance/531837/intro
2021-12-03 17:15:37
292
原创 Python基础进阶：从函数到高级魔法方法（3天） Task03
Python入门(下)函数函数的定义还记得 Python 里面“万物皆对象”么？Python 把函数也当成对象，可以从另一个函数中返回出来而去构建高阶函数，比如：参数是函数、返回值是函数。我们首先来介绍函数的定义。函数以def关键词开头，后接函数名和圆括号()。函数执行的代码以冒号起始，并且缩进。return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回None。def functionname (parameters): &nb
2021-12-03 16:56:46
184
原创 Python基础练习：数据结构大汇总（3天）Task02
Python基础练习：数据结构大汇总（3天）Task02列表简单数据类型整型<class 'int'>浮点型<class 'float'>布尔型<class 'bool'>容器数据类型列表<class 'list'>元组<class 'tuple'>字典<class 'dict'>集合<class 'set'>字符串<class 'str'>1. 列表的定义列表是有序集合，没有固
2021-12-03 15:08:02
342
原创 Python基础入门：从变量到异常处理（3天） Task01
Python基础入门：从变量到异常处理（3天） Task01逻辑运算符操作符名称示例and与(3 > 2) and (3 < 5)or或(1 > 3) or (9 < 2)not非not (2 > 1)其他运算符操作符名称示例in存在'A' in ['A', 'B', 'C']not in不存在'h' not in ['A', 'B', 'C']is是"hello" is "
2021-12-03 13:15:28
150
原创 基于DCGAN的图像生成实战 Task02笔记
1.加载和准备数据集import timeimport torchimport torch.nn as nnfrom torch.utils.data import DataLoaderfrom torchvision import utils, datasets, transformsimport matplotlib.pyplot as pltimport matplotlib.animation as animationfrom IPython.display import HTML
2021-12-02 17:28:47
3321
原创 基于人脸的常见表情识别 Task03笔记
基于人脸的常见表情识别——模型搭建、训练与测试模型搭建与训练得到了数据之后，接下来咱们使用 PyTorch 这个框架来进行模型的训练。整个训练流程包括数据接口准备、模型定义、结果保存与分析。1. 数据接口准备PyTorch 图像分类直接利用文件夹作为输入，只需要把不同类的数据放到不同的文件夹中。数据读取的完整代码如下：data_transforms = { 'train': transforms.Compose([ transforms.Scale(64),
2021-12-02 17:04:05
210
原创 基于人脸的常见表情识别 Task02笔记
基于人脸的常见表情识别——数据获取与整理项目背景对于很多初⼊深度学习计算机视觉领域的朋友来说，当前开源资料⾮常多，但有时候难以适从，其中很多资料都没有包含完整的项⽬流程，⽽只是对某个流程的部分截取，对能⼒的锻炼不够。图像分类是整个计算机视觉领域中最基础的任务，也是最重要的任务之⼀，最适合拿来进⾏学习实践。为了让新⼿们能够⼀次性体验⼀个⼯业级别的图像分类任务的完整流程，本次我们选择带领⼤家完成⼀个对图片中⼈脸进⾏表情识别的任务。数据获取很多实际项⽬我们不会有现成的数据集，虽然可以通过开源数据集获
2021-12-02 16:57:17
4227
原创 基于人脸的常见表情识别实战 Task01笔记
神经网络1. 感知机n维输入的单层感知机????1 至 ???????? 为 n 维输入向量的各个分量????1???? 至 ???????????? 为各个输入分量连接到感知机的权量（或称权值），theta 为阈值f 为激活函数（又称为激励函数或传递函数），o 为标量输出。理想的激活函数通常为阶跃函数或者sigmoid函数。感知机的输出是输入向量x与权重向量w求得内积后，经激活函数f所得到的标量。2. 多层感知机（Multi-Layer Perceptron）与反向传播(
2021-12-02 16:25:13
652
原创 RCNN--＞Fast-RCNN--＞Faster-RCNN笔记
RCNN R-CNN框架 Region proposal (Selective Search) Feature extraction(CNN) Classification（SVM） Bounding-box regression(regression) RCNN算法流程可分为4个步骤一张图像生成1K~2K个候选区域(region.
2021-05-21 16:57:40
509
原创 ubuntu配置pytorch环境
Pytorch#pip install torch==1.8.1+cu102 torchvision==0.9.1+cu102 torchaudio===0.8.1 -f https://download.pytorch.org/whl/torch_stable.html# 更新包 安装基础包sudo apt updatesudo apt install build-essentialsudo apt install python3.8wget miniconda3bash minicond
2021-05-06 23:20:56
182
原创 Python格式化函数 | format()
格式：<模板字符串>.format(<逗号分隔的参数>){<参数序号> <引导符> <格式控制标记>}.format(<逗号分隔的参数>)参数序号:0,1,2,3引导符：:格式控制标记:用来控制参数显示时的格式，包括：<填充><对齐><宽度>,<.精度><类型>6 个字段，可选字段，可以组合使用。>>>"{} {}".format("hello",
2021-03-15 16:35:34
488
原创 聊天机器人-项目准备
聊天机器人-项目准备文章目录聊天机器人-项目准备走进聊天机器人学习目标1. 目前企业中的常见的聊天机器人2. 常见的聊天机器人怎么实现的2.1 问答机器人的常见实现手段2.2 任务机器人的常见实现思路2.3 闲聊机器人的常见实现思路3. 企业中的聊天机器人是如何实现的3.1 阿里小蜜-电商智能助理是如何实现的3.1.1 主要交互过程3.1.2 技术架构3.1.3 检索模型流程（小蜜还用了其他的模型，这里以此为例）3.2 58同城智能客服帮帮如何实现的3.2.1 58客服体系3.2.2 58智能客服整体架构
2021-02-02 18:40:22
1106
原创 1.机器学习
机器学习笔记机器学习流程1.数据收集与预处理2.特征选择与模型构建3.评估与预测如何学习机器学习?机器学习本质包含了数学原理推导与实际应用技巧机器学习中有很多经典算法，需要清楚一个算法是怎么来的(推导)以及该如何应用数学非常重要，需要有大致的印象，边学边查，哪里不会查哪里资源:github案例:kaggle...
2021-01-27 17:58:32
71
原创 Pytorch总结
Pytorch总结文章目录Pytorch总结Pytorch的安装目标1. Pytorch的介绍2. Pytorch的版本3. Pytorch的安装Pytorch的入门使用目标1. 张量Tensor2. Pytorch中创建张量3. Pytorch中tensor的常用方法4. tensor的数据类型5. tensor的其他操作梯度下降和反向传播目标1. 梯度是什么?2. 偏导的计算2.1 常见的导数计算2.2 多元函数求偏导3. 反向传播算法3.1 计算图和反向传播3.2 神经网络中的反向传播3.2.1 神
2021-01-07 21:12:16
339
原创 深度学习和神经网络介绍
深度学习和神经网络介绍文章目录深度学习和神经网络介绍深度学习的介绍目标1. 深度学习的概念2. 机器学习和深度学习的区别2.1 区别1 ：特征提取2.2 区别2：数据量3. 深度学习的应用场景4. 常见的深度学习框架神经网络的介绍目标1. 人工神经网络的概念2. 神经元的概念3. 单层神经网络4. 感知机5. 多层神经网络6. 激活函数6. 神经网络示例深度学习的介绍目标知道什么是深度学习知道深度学习和机器学习的区别能够说出深度学习的主要应用场景知道深度学习的常见框架1. 深度学习的概念
2021-01-05 17:44:45
5342
原创 spark-core总结
spark-core总结spark 入门文章目录spark-core总结spark 入门1.1 spark概述1.2 spark的安装部署1.3 spark启动（local模式）和WordCount(演示)spark-core RDD常用算子练习3.1 RDD 常用操作3.2 RDD Transformation算子3.3 RDD Action算子3.4 Spark RDD两类算子执行示意spark-core 实战案例4.0 Pycharm编写spark代码环境配置4.1利用PyCharm编写spark
2020-12-31 23:01:19
360
原创 spark-streaming总结
sparkStreaming总结文章目录sparkStreaming总结1、sparkStreaming概述1.1 SparkStreaming是什么1.2 SparkStreaming的组件2、Spark Streaming编码实践3、Spark Streaming的状态操作3.1 updateStateByKey案例：updateStateByKey3.2 Windows1、sparkStreaming概述1.1 SparkStreaming是什么它是一个可扩展，高吞吐具有容错性的流式计算框
2020-12-31 22:55:13
462
原创 spark-sql总结
spark-sql总结文章目录spark-sql总结1、Spark SQL 概述2、DataFrame2.1 介绍2.2 创建DataFrame2.3 DataFrame API实现3、JSON数据的处理3.1 介绍3.2 实践静态json数据的读取和操作动态json数据的读取和操作4、数据清洗1、Spark SQL 概述Spark SQL概念Spark SQL is Apache Spark’s module for working with structured data.它是spark中
2020-12-31 22:53:07
359
原创 centos7搭建python机器学习基础开发环境
配置centos编译环境#备份yum源mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup#更新yum源wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo#更新yumyum update#安装编译python所依赖的包yum install openssl-dev
2020-12-30 21:54:57
389
原创 HBase总结
HBase总结文章目录HBase总结一 HBase简介与环境部署1.1 HBase简介&在Hadoop生态中的地位1.1.1 什么是HBase1.1.2 BigTable1.1.3 面向列的数据库1.1.4 什么是非结构化数据存储1.1.5 HBase在Hadoop生态中的地位1.1.6 HBase与HDFS1.1.7 HBase使用场景1.2 HBase数据存储模型&与关系型数据库的区别1.2.1 ACID定义1.2.2 CAP定理1.2.3 Hbase表结构1.2.4 HBase 与
2020-12-29 12:01:38
227
原创 Hive总结
Hive总结文章目录Hive总结一 Hive基本概念1 Hive简介1.1 什么是 Hive1.2 为什么使用 Hive2 Hive 架构2.1 Hive 架构图2.2 Hive 组件2.3 Hive 与 Hadoop 的关系3 Hive 与传统数据库对比4 Hive 数据模型5 Hive 安装部署二 Hive 基本操作2.1 Hive HQL操作初体验2.2 Hive的内部表和外部表2.3 分区表2.4 动态分区三 Hive 函数3.1 内置运算符3.2 内置函数3.3 Hive 自定义函数和 Tran
2020-12-29 11:52:17
545
原创 Hadoop总结
Hadoop总结文章目录Hadoop总结Hadoop概述Hadoop核心组件Hadoop优势分布式文件系统 HDFSHDFS架构HDFS设计思路HDFS环境搭建HDFS的使用HDFS shell操作HDFS shell操作练习资源调度框架 YARN什么是YARNYARN产生背景YARN的架构和执行流程YARN环境搭建分布式处理框架 MapReduce什么是MapReduceMapReduce编程模型Hadoop Streaming 实现wordcount （实验 了解）MapReduce实战利用MRJob
2020-12-29 00:06:53
959
原创 推荐算法总结
推荐算法文章目录推荐算法基于模型的协同过滤推荐Model-Based 协同过滤算法基于K最近邻的协同过滤推荐基于回归模型的协同过滤推荐Baseline：基准预测方法一：随机梯度下降法优化step 1：梯度下降法推导step 2：随机梯度下降step 3：算法实现Step 4: 准确性指标评估方法二：交替最小二乘法优化step 1: 交替最小二乘法推导step 2: 交替最小二乘法应用step 3: 算法实现Step 4: 准确性指标评估基于矩阵分解的CF算法矩阵分解发展史Traditional SVDFu
2020-12-28 10:51:53
1394
原创 推荐系统基础总结
推荐系统基础总结文章目录推荐系统基础总结推荐系统简介推荐系统产生背景什么是推荐系统推荐系统VS搜索引擎推荐系统的作用推荐系统的工作原理推荐系统和Web项目的区别推荐系统设计推荐系统要素推荐系统架构大数据Lambda架构推荐算法架构推荐算法推荐模型构建流程数据来源--Data(数据)特征工程--Features(特征)选择合适的算法--ML Algorithm(机器学习算法)产生推荐结果--Prediction Output(预测输出)最经典的推荐算法：协同过滤推荐算法（Collaborative Filt
2020-12-28 10:20:45
859
原创 聚类算法总结
聚类算法文章目录聚类算法聚类算法简介认识聚类算法聚类算法的概念聚类算法与分类算法最大的区别聚类算法api初步使用api介绍案例聚类算法实现流程k-means聚类步骤案例练习小结模型评估误差平方和(SSE \The sum of squares due to error)：“肘”方法 (Elbow method)— K值确定轮廓系数法（Silhouette Coefficient）CH系数（Calinski-Harabasz Index）总结算法优化Canopy算法配合初始聚类K-means++二分k-me
2020-12-27 02:28:20
23206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人