一、概念
从数据中获得模型,使用模型对数据进行预测、分类、检测等
1.1、分类
监督学习:输入数据是由输入特征和目标值所组成。函数的输出可以是一个连续的值(回归),或输出是有限个离散值(分类)
- 分类:k邻近、贝叶斯、决策树、随机森林、逻辑回归
- 回归:线性回归、岭回归
无监督学习:输入数据由输入的特征值所组成
- 聚类:k-means
1.2、训练/开发流程
- 数据导入
- 数据预处理
- 特征工程
- 算法训练
- 模型评估
- 导出应用
1.3、理论基础
先整这几个吧,每个课大学至少半学期,有时间单独写吧
- 高等数学
- 数理统计
- 线性代数
- 数值分析
- 优化算法
1.4、学习库/学习框架
框架:
- pyTorch
- TensorFlow
- Keras
- Paddle
库:
- pandas
- numpy
- sklearn
- …
1.5、工具
1、Anaconda
Anaconda,中文大蟒蛇,是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。
2、JupyterNoteBook
Jupyter Notebook 是一个非常强大的工具,常用于交互式地开发和展示数据科学项目。它将代码和它的输出集成到一个文档中,并且结合了可视的叙述性文本、数学方程和其他丰富的媒体。它直观的工作流促进了迭代和快速的开发,使得 notebook 在当代数据科学、分析和越来越多的科学研究中越来越受欢迎。最重要的是,作为开源项目的一部分,它们是完全免费的。Anaconda中带有JupyterNoteBook,不用单独安装。
二、数据集
常用数据集包括如下三种:
1、Kaggle
竞赛必备,很多大佬和模型代码,英文不差基本无障碍并获得大量真实新鲜很经典,数据,但最好能科学上网
网址:https://www.kaggle.com
2、UCI
数据集很经典,许多样例代码都使用了该数据集,但数据集更新不是很快,好在不用科学上网
网址:https://archive.ics.uci.edu/
3、sklearn等一些库或者其他框架自带的gongjuji
一般用来复现论文的实验或学习模型的训练
4、爬虫
想要啥数据自己爬,别犯法!!!
三、环境配置
1、概念
GPU(Graphics Processing Unit):图形处理器。又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。
GPU内部包括CUDA、CUDA toolkit、CUDNN、NVCC等名词。
- CUDA:为“GPU通用计算”构建的运算平台。
- cudnn:为深度学习计算设计的软件库。
- CUDA Toolkit (nvidia): CUDA完整的工具安装包,其中提供了 Nvidia 驱动程序、开发 CUDA 程序相关的开发工具包等可供安装的选项。包括 CUDA 程序的编译器、IDE、调试器等,CUDA 程序所对应的各式库文件以及它们的头文件。
- CUDA Toolkit (Pytorch): CUDA不完整的工具安装包,其主要包含在使用 CUDA 相关的功能时所依赖的动态链接库。不会安装驱动程序。
- NVCC :CUDA的编译器,只是 CUDA Toolkit 中的一部分
2、安装
要安装显卡驱动、CUDA toolkit、cudnn
-
到官方网站下载显卡驱动
网址:https://www.nvidia.cn/geforce/drivers/
-
安装CUDA toolkit
Windows命令行中输入nvidia-smi查看版本信息
打开网址https://developer.nvidia.com/cuda-downloads#查找对应的版本安装包,下载后直接安装就行。
查看是否安装好用 nvcc -V Windows命令查看,如果查不到需要修改计算机环境变量。
-
安装cudnn
下载网址:https://developer.nvidia.com/rdp/cudnn-download
下载时可能需要登录,用邮箱注册个账号登录后即可下载,下载得到zip文件解压后将 bin、include、lib三个文件夹复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x目录下,xx.x代表版本号。
-
查看环境变量
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x\include
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x\lib
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x\libnvvp
原文链接:https://blog.csdn.net/qq_46941656/article/details/119681765
3、安装Anaconda3
官网下载地址:https://www.anaconda.com/download
- 在所有程序里Anaconda3文件夹下打开Anaconda Prompt (Anaconda3)命令行工具输入conda env list查看所有环境
- - 创建虚拟环境
命令conda create -n 环境名 python=版本
- 切换虚拟环境
命令conda activate 环境名
- 添加清华源
换源可提高安装包下载速度。首先切换到想使用的环境,使用如下命令:(想使用其他的源可以自行百度)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
查看安装的源
conda config --show-sources
4、使用JupyterNotebook
-
安装
conda install jupyter
-
运行
jupyter notebook
-
扩展
-
汉化
虚拟环境中输入
pip install jupyterlab-language-pack-zh-CN
进入JupyterNotebook后再设置界面设置简体中文
-
自动补全
使用tab补全或使用nbextension拓展包补全
-
查看参数或源码
方法1、直接在后面加??
方法2、shift+tab