各种步骤大全

进行各种事情的步骤操作

1 解决问题

先去分析是什么、为什么、怎么做

1.1 3步走

1.1.1 是什么

1.1.2 为什么

1.1.3 怎么做

1.2 科研思维

1.2.1 问题是什么

1.2.2 学习目前的解决方式和研究现状

1.2.3 需要什么数据，人和物

1.2.4 需要什么方法

1.2.5 结果怎么样，要不要重新实验

1.2.6 分析总结

1.3 成功四步曲

成功 = 目标 + 计划（阶段计划+每天计划）+ 坚持专注 + 反思；

2 写报告文章

1 对方想要什么的效果
2 简洁一些，还是详细一些
报告要概括一些，实验报告要详细一些
3 大标题，小标题
4 往每一块里填文字，第一句话概括整段。
5 再修改

3 机器学习流程

1 抽象成数学问题

明确问题是进行机器学习的第一步。机器学习的训练过程通常都是一件非常耗时的事情，胡乱尝试时间成本是非常高的。

这里的抽象成数学问题，指的明确我们可以获得什么样的数据，抽象出的问题，是一个分类还是回归或者是聚类的问题。

2 获取数据和预处理
数据要有代表性，否则必然会过拟合。

而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数量级的差距。

（1）查看数据特征
print(“数据统计：\n”,data.describe())
print(data)

（2）缺失值处理
x = data.drop([“id”,“target”], axis=1) # 安列丢弃

（3）确定训练特征和测试目标
y = data[“target”]
x = data.drop([“id”,“target”], axis=1) # 安列丢弃

（4）字符标签转数字（还要onehot编码等）
le = LabelEncoder()
y = le.fit_transform(y)
print(“看看字符转换为数字后的y:\n”, y)

（5）分割成训练集和验证集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2)
print(“看看分割后的情况：\n”, x_train.shape,x_test.shape)

（6）归一化或标准化
scaler = StandardScaler()
scaler.fit(x_train)

x_train_scaled = scaler.transform(x_train)
x_val_scaled = scaler.transform(x_val)

3 特征预处理与特征选择
3.1 特征选择
3.2 特征降维

良好的数据要能够提取出良好的特征才能真正发挥作用

4 训练模型与调优

5 模型测试
6 模型融合
7 上线运行

4 数据处理的基本流程

1、提出问题
2、获取数据
3、数据预处理
3.1 数据查看和探索
3.2 数据清洗
3.3 特征工程
4、数据建模分析
5、结果展示（可视化，报告）
步骤：https://blog.csdn.net/xiaotiig/article/details/112802330
大案例了解数据分析的步骤
https://zhuanlan.zhihu.com/p/136819457

5 深度学习的基本流程

5.1 11步法

1 确定任务目的，要做什么事情
2 数据和数据预处理 (tf.data，tf.image)

3 前向传播 (tf2.0中：tf.keras.Sequential或tf.keras.model两种方法)

4 反向传播或配置 (model.compile)

5 模型训练 (model.fit)

6 模型测试（需要确定好评价指标）

7 模型优化（常用优化方法）

8 模型保存部署（model.save（），model.load）

8.1保存神经网络参数
（1）只保存权重
（2）只保存网络结构
（3）网络结构和权重都保存
（4）断点续训，保存训练过程中的权重ckpt

8.2保存日志文件(百度)
tf.summary.create_file_write()

9 模型预测应用（model.predict()）
10 识别结果后处理
11 结果展示和报告生成

5.2 6步法

6 学习基本流程

1 学习目标是什么
2 要学习哪些内容
3 找学习资料，培训课程或者b站等
4 先看视频，再看书，再自己实践，安框架背背背，
找到合适的课程很重要，实现一个项目一个方法，你看别人怎么实现的你模仿，机器学习和深度学习中很重要，自己想太难了。

5 列出每天的时间学习计划和总体进度计划
6 坚持

6.1 学习算法流程

1. 算法原理
2. 公式结构
3. 损失函数
4. 评价指标
5. 优缺点与应用
6. 程序实现
   7.github上找一些项目和案例来做，还可以找一下各大竞赛网站，kaggle,DF了，找到竞赛，然后找到前几名的方案，进行复现学习。

7 深度学习项目

8、编程（瀑布模型）

（1）需求分析
（2）概要设计
（3）详细设计
（4）编码实现
（5）代码改进
（6）软件测试
（7）部署应用
（8）软件维护升级

9、做实验论文

（1）确定问题（看论文，目前的研究进展）
（2）概要设计（什么样的数据和方法）
（3）详细设计（具体实验怎么做）
（4）数据
（5）方法实现
（6）完善优化实验
（7）结果分析
（8）论文撰写

10、图像处理3个层次

（1）狭义的图像处理（像素）
（2）图像分析（目标语义，比如图像上有人，水杯）
（3）图像的理解（符号，比如车在告诉路上跑）

图像处理内容
（1）图像压缩
（2）图像增强
（3）图像校正
（4）分类
（5）检测
（6）分割

11、遥感目标解译

（1）遥感影像获取
（2）数据预处理
（3）特征提取
（4）目视解译（）
（5）实地对比核验
（6）分类

12、深度学习网络代码

（1）先看别人对这个网络的介绍
（2）然后看论文
（3）看别人实现的源码
（4）把源码跑通
（5）分析源码：网络结构，预处理，损失函数等

13、工作项目

– 目的
– 方案设计（调研）

• 数据
• • 方法
• • 结果（可视化）
• • 讨论
• • 改进优化
• • 完成报告写成小故事

13.1 调研

（1）概念
（2）应用目的
（3）算法（原理和代码、输入输出）
（4）数据和数据集
（5）评价指标
（6）实现流程（数据预处理，算法处理，算法处理结果后处理，展示）
（7）案例，别人怎么干的，干了什么
（8）我们要做的事情

14、算法项目（看同安项目流程）

1 目的效果
2 方案设计（调研）
3 数据和数据集
4 数据预处理
5 方法
6 结果（可视化，指标体系）
7 结果后处理
8 讨论
9 改进优化
10 完成报告写成小故事

15、工作和学习

在工作中学习，一半工作，一般学习，不能光工作，视野放宽，不要搞聚类就知道聚类，也要看看别的方法
先广度增加，比如机器学习算法大致清楚了，再在实践中追求深度，实践中再深入理解运用改进。