打卡The first day

人工智能三大概念

一、人工智能（AI）

1、人工智能的概念

人工智能可是个交叉学科，它涉及计算机科学、数学、心理学、哲学等多个领域的知识呢。通过模拟人类的神经系统和思维方式，人工智能让机器能够识别图像、理解语言、进行语音交互，甚至在某些方面超越人类的智能水平。

2、人工智能的期待

首先，当然是希望它能为我们提供更智能化、便捷的服务

还有，在医疗领域，人工智能也能发挥巨大作用。比如，通过深度学习和大数据分析，它可以帮助医生更准确地诊断疾病，制定个性化治疗方案，甚至预测疾病的发展趋势。这样一来，我们的健康就能得到更好的保障！

当然，人工智能还能在交通、教育、娱乐等众多领域发挥重要作用。它不仅能提高生产效率，降低人力成本，还能让我们的生活变得更加丰富多彩。

3、人工智能面临的问题

首先，数据隐私和安全可是个大问题。人工智能需要大量的数据来进行训练和优化，但这就涉及到用户隐私的问题。如何确保数据的安全和隐私不被泄露？

其次，人工智能的算法和决策过程往往缺乏透明度，就像个黑盒子一样。这使得人们很难理解和信任它的决策结果，也增加了潜在的风险和不确定性。

还有啊，人工智能的发展也可能导致就业结构的变革。一些传统的工作岗位可能会被自动化取代，而新的工作岗位又需要人们具备新的技能和知识。这对于社会和个人来说，都是个不小的挑战。

当然，还有伦理和道德问题也是不能忽视的。比如，人工智能在医疗、法律等领域的应用，可能会涉及到生死、权益等重大问题，这就需要我们认真思考和探讨。

总之，人工智能的发展虽然充满了机遇，但也面临着诸多挑战。要想让它真正为人类带来福祉，还需要我们共同努力去克服这些难题。

二、机器学习

1、机器学习的概念

机器学习是一门涉及多个学科领域的交叉学科，它专门研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构，从而不断改善自身的性能。机器学习是人工智能的核心，是实现计算机智能化的根本途径。

2、机器是怎么学习的

在模型训练阶段，机器学习算法会尝试找到一种最优的方式来描述和解释数据中的特征和标签之间的关系。对于监督学习，这意味着算法会使用已知标签的数据来指导其学习过程，并尝试预测新数据的标签。对于无监督学习，算法则会尝试从数据中找出隐藏的结构或模式，例如通过聚类或降维技术。

模型评估与优化：训练完成后，机器学习模型需要进行评估以检查其性能。这通常涉及到使用独立的测试数据集，该数据集在训练过程中是不可见的。通过比较模型在测试集上的预测结果与实际标签，我们可以计算出模型的准确率、召回率、F1分数等指标，以评估模型的性能。根据评估结果，可以对模型进行进一步的优化，如调整模型参数或使用更复杂的模型结构。

模型部署与应用：一旦模型经过训练和评估，并达到了满意的性能水平，它就可以被部署到实际应用中。这可以是一个在线服务，用于实时处理新的数据输入并返回预测结果；也可以是一个嵌入到某个系统或应用中的组件，用于辅助决策或自动化任务。

值得注意的是，机器学习的学习过程是一个持续迭代的过程。随着新的数据的收集和环境的变化，模型可能需要重新训练和优化，以适应新的需求和挑战。因此，机器学习不仅仅是一个一次性的任务，而是一个需要长期维护和更新的过程。

在整个学习过程中，机器学习的效果高度依赖于数据的质量、算法的选择、模型的复杂性以及训练过程的优化等多个因素。因此，对于机器学习工程师来说，掌握这些技术和方法，以及具备对问题的深入理解和分析能力，都是非常重要的。

3、机器学习的发展前景

关于机器学习的发展前景，随着自动化和智能化的不断推进，它在许多领域都发挥着越来越重要的作用。例如，在制造业、农业、医疗、交通等领域，机器学习都展现出了巨大的应用潜力。此外，随着大数据时代的到来，机器学习的重要性也日益凸显，它可以帮助人们更好地利用数据，得出更准确和有用的结论。同时，自然语言处理技术的进步也为机器学习提供了更广阔的应用空间，如语音识别、机器翻译、情感分析等领域。

4、机器学习面临的挑战

然而，机器学习也面临着一些挑战。首先，数据的质量和数量对机器学习的效果有着至关重要的影响。在实际应用中，收集到足够数量且具有代表性的训练数据往往是一个难题。其次，机器学习算法的选择和模型的训练也是一个挑战。错误的算法选择或模型训练都可能导致机器学习的效果不佳。此外，随着机器学习应用的深入，如何确保算法的公平性和透明性，避免产生偏见和歧视，也是一个亟待解决的问题。

总的来说，机器学习虽然面临着一些挑战，但其发展前景依然广阔。随着技术的不断进步和应用场景的不断拓展，相信机器学习将在未来发挥更大的作用，为人类带来更多的便利和福祉。

三、深度学习

1、学习方式

深度学习的学习方式主要基于神经网络模型，通过大量的数据进行训练和优化，从而实现对复杂问题的自动化学习和解决。深度学习的学习方式有以下几个关键步骤：

神经网络模型构建：深度学习的基础是神经网络，它模拟了人类神经系统的结构和功能。通过构建多层的神经网络模型，可以学习输入与输出之间的复杂关系。这些网络由大量的神经元组成，并通过权重和偏置进行连接。

前向传播：在训练过程中，输入数据通过神经网络进行前向传播。在每个神经元中，输入数据与权重相乘，并加上偏置，然后经过激活函数的处理，产生输出。这些输出作为下一层的输入，继续向前传播，直到得到最终的输出。

反向传播与梯度下降：当输出与期望的结果存在误差时，深度学习采用反向传播算法来更新神经网络的权重和偏置。通过计算损失函数关于权重的梯度，利用梯度下降或其变种算法（如随机梯度下降、Adam等）来优化网络参数，使输出更接近期望结果。

模型训练与优化：深度学习模型需要大量的数据进行训练。通过迭代地更新网络参数，模型逐渐学习到数据的内在规律和表示层次。同时，还可以使用正则化、dropout等技术来防止过拟合，提高模型的泛化能力。

模型评估与部署：在训练完成后，需要对模型进行评估，检查其在测试集上的性能。如果满足要求，就可以将模型部署到实际应用中，用于处理新的数据输入并返回预测结果。

四、三者之间的关系

总的来说，人工智能是一个广泛的概念，包括了各种模拟人类智能的技术和方法；机器学习是实现人工智能的一种有效方式，通过训练和优化模型来提高计算机的性能；而深度学习则是机器学习领域中的一个重要分支，通过深度神经网络模型实现对复杂数据的自动化学习和理解。这三者之间的关系是逐层递减的，深度学习是机器学习的一个子集，而机器学习又是人工智能的一个子集。

五、总结：

1 人工智能
·Artificial Intelligence(Al):仿智，使用计算机来模拟或者代替人类
2 机器学习
Machine Learning(ML):机器自动学习，不是人为规则编程
总结
3 深度学习
· Deep Learning(DL):大脑仿生，设计一层一层的神经元模拟万事万物
4 AI、ML、DL三者之间的关系
·机器学习是实现人工智能的一种途径
深度学习是机器学习的一种方法发展而来的
5 算法的学习方式有哪两种?
·基于规则的学习
基于模型的学习

机器学习的发展领域和发展史

一、机器学习的应用领域

机器学习的应用领域十分广泛，涵盖了众多行业和领域。以下是一些主要的应用领域：

医疗保健领域：机器学习在医疗影像识别、疾病预测和个性化治疗等方面发挥了重要作用。例如，利用机器学习技术，医生可以更准确地识别X光、MRI等医疗影像，辅助诊断疾病，预测病情发展趋势，并为患者提供更为精准的治疗方案。
金融领域：机器学习在金融风控、信用评分、欺诈检测、股票预测等方面有着广泛应用。通过机器学习模型，金融机构可以分析大量的金融数据，识别潜在风险，预测客户的信用状况，检测交易中的欺诈行为，以及预测股票市场的走势。
零售和电子商务领域：机器学习在商品推荐、需求预测和定价策略等方面发挥着关键作用。通过对用户行为和购买数据的分析，机器学习可以帮助电商平台为用户提供个性化的商品推荐，提高销售效率。
智能交通领域：机器学习在交通流量预测、智能驾驶和交通信号优化等方面具有重要应用。例如，利用机器学习技术，可以预测道路拥堵情况，优化交通信号灯的配时，提高交通效率。
生产制造领域：在质量控制、设备维护和生产优化等方面，机器学习技术也发挥着重要作用。通过对生产过程中的数据进行分析，机器学习可以帮助企业及时发现潜在问题，预测设备的维护周期，优化生产流程，提高生产效率。

此外，机器学习还在教育领域、自动驾驶汽车、能源管理、气候预测等众多领域有着广泛的应用。随着技术的不断发展和进步，机器学习的应用领域还将继续扩大，为人们的生活带来更多便利和效益。

二、机器学习发展史
大规模预训练模型
大规模预训练模型
2017-至今
2017年，自然语言处理NLP的Transformer框架出现
2018年，Bert和GPT的出现
2022年，chatGPT的出现，进入到大模型AIGC发展的阶段
神经网络21世纪初期
统计主义
20世纪80-2000
神经网络、深度学习流派
·2012: AlexNet深度学习的开山之作
·2016:Google AlphaGo 战胜李世石(人工智能第三次浪潮)
主要用统计模型解决问题
·1993:Vapnik提出SVM
·1997:IBM 深蓝战胜卡斯帕罗夫(人工智能第二次浪潮)
符号主义
20世纪50-70
专家系统占主导
1950:图灵设计国际象棋程序
1962:IBM Arthur Samuel 的跳棋程序战胜人类高手(人工智能第一次浪潮)

三、AI发展三要素

数据、算法、算力相互作用，是AI发展的基石

四、总结

1 机器学习的应用领域
计算机视觉CV:对人看到的东西进行理解
自然语言处理:对人交流的东西进行理解
数据挖掘和数据分析:也属于人工智能的范畴
2 人工智能发展史
1956年人工智能元年
总结
2012年计算机视觉深度神经网络方法研究兴起
2017年自然语言处理应用大幕拉开
2022年chatGPT的出现，引起AIGC的发展3 人工智能发展三要素
数据，算法，算力
CPU:主要适合八O密集型的任务
GPU:主要适合计算密集型任务
TPU:专门针对大型网络训练而设计的一款处理器

机器学习常用术语 样本、特征、标签、训练集和测试集

一、样本、特征、标签

样本(sample) ：一行数据就是一个样本；多个样本组成数据集；有时一条样本被叫成一条记录 特征(feature) ：一列数据一个特征，有时也被称为属性 标签/目标(label/target) ：模型要预测的那一列数据。本场景是就业薪资 就业薪资 与 培训学科、作业考试、学历、工作经验、工作地点 5个特征有关系 特征如何理解（重点）：特征是从数据中抽取出来的，对结果预测有用的信息 eg:房价预测、车图片识别

二、训练集、标签

在机器学习中，数据集划分和标签处理是两个至关重要的步骤。它们直接影响到模型的训练效果和性能。

数据集划分

数据集划分的主要目的是将原始数据集分为训练集、验证集和测试集，以便进行模型训练、验证和测试。

简单的随机划分：这是最常见和最简单的方法，直接将数据集随机划分为训练集和测试集，或者进一步划分为训练集、验证集和测试集。例如，常见的划分比例是70%的训练集，20%的验证集和10%的测试集。
分层随机划分：在随机划分的基础上，保持原始数据集中各类别样本的比例，从而更好地反映真实情况。这种方法特别适用于类别分布不均衡的数据集。
时间序列划分：对于时间序列数据，如股票预测或天气预测，需要考虑时间的先后顺序。因此，通常将早期的数据作为训练集，后期的数据作为测试集。
K折交叉验证：这是一种更复杂的划分方法，尤其适用于数据量较小的情况。它将数据集划分为K个子集，然后进行K次模型训练和验证，每次使用不同的子集作为验证集，其余子集作为训练集。

标签处理

标签是机器学习中的重要元素，它们代表了数据的特征和类别。对于标签的处理，主要包括以下几种情况：

缺失标签的处理：当数据集中存在缺失标签的样本时，可以采取删除这些样本、使用均值或中值填充、使用最频繁值填充、使用回归模型填充或使用聚类方法填充等方法。
多标签数据的处理：对于多标签数据，即一个样本可能属于多个类别的情况，可以采用基于问题转换的方法，如独立二分类方法，或者基于算法适应的方法，如标签树方法或关联规则方法。

无论是数据集划分还是标签处理，都是机器学习过程中的重要步骤，它们直接影响到模型的性能和效果。因此，在进行机器学习任务时，需要根据具体情况选择合适的方法来进行数据集划分和标签处理。

三、总结

1 样本和数据集

2 特征 • 特征(feature) ：一列数据一个特征，有时也被称为属性 • 样本(sample) ：一行数据就是一个样本 • 数据集dataset：多个样本组成数据集

3 标签 • 标签/目标(label/target) ：模型要预测的那一列数据。

4 数据集划分 • 训练集用来训练模型、测试集用来测试评估模型 。 • 一般划分比例7:3 ~ 8:2