机器学习常用的5种学习框架

最新推荐文章于 2023-12-13 11:28:08 发布

weixin_33816300

最新推荐文章于 2023-12-13 11:28:08 发布

阅读量618

点赞数

文章标签： python c/c++ 人工智能

原文链接：https://juejin.im/post/5afa362f6fb9a07aab29fcdc

版权

随着深度学习和人工智能在最近这几年的迅速发展，有许多的深度学习框架的引入。深度学习框架的创建目标是在GPU上高效运行深度学习系统，它们都依赖于计算机图的概念，计算图定义了需要执行的计算顺序。这些框架中你使用的是一种可以建立计算图的证语言，但它语言执行的机制与其宿主语言本身机制有所不同。最后，计算图可以并行地在目标GPU中优化和运行。那常见的有以下这几种深度学习框架

1. TensorFlow (Google)

TensorFlow 最初是由Google Brain Team 的研究人员的工程师所研发的。他们目的是面向深度神经网络和机器智能方面的研究。2015年底，TensorFlow 正式在GitHub上开源。TensorFlow 对于快速基于图形计算方面非常有用。现在的版本，灵活的TensorFlow API 可以通过其 GPU 支持的架构在多个设备之间快速部署模型。

TensorFlow 生态系统主要有以下三个组成部分:

用C++ 编写的TensorFlow API 包含用于定义模型的使用数据训练模型的API, 也是有一个友好的Python接口。
TensorBoard 是一个可视化工具包，它可以帮助分析，可视化和调试 TensorFlow 计算图。
TensorFlow Serving 是一种灵活的高性能服务系统, 用于在生产环境中部署预先训练好的机器学习模型。Serving 也是由C++ 编写并可通过Python 接口访问，可以即时从旧模式切换到新模式.

TersorFlow 目前已经被广泛应用于学术研究的工业应用。但有一些值得注意的是当前用途包括Deep、Speech、RankBrain、SmartReply、On-Device Computer Vision。都可以在TensorFlow的GitHub项目中查看一些官方用途、研究模型、示例和教程。

以下是一个运行的示例, 在这里，在tensorFlow上用随机数据训练一个期于L2损失的2层ReLU网络。

import numpy as np
import tensorflow as tf


#Batch size = 32, Input Dimension = 500, Hidden Dimension = 50


x = tf.placeholder(tf.float32, shape=(32, 500))
y = tf.placeholder(tf.float32, shape=(32, 500))
w1 = tf.placeholder(tf.float32, shape=(500, 50))
w2 = tf.placeholder(tf.float32, shape=(50, 500))


# Forward pass

h = tf.maximum(tf.matmul(x,w1), 0)
y_pred = tf.matmul(h, w2)
diff = y_pred - y


# Use predefined common losses

loss = tf.losses.mean_squared_error(y_pred, y)


# Compute loss of gradient

grad_w1, grad_w2 = tf.gradients(loss, [w1, w2])


# run the graph multiple times

with tf.Session() as sess:

    # Create numpy arrays
    values = {x: np.random.randn(32, 500),
              w1: np.random.randn(500, 50),
              w2: np.random.randn(50, 500),
              y: np.random.randn(32, 500)}



# Train the network

learning_rate = 1e-5

# Run the graph in a loop
for t in range(20):
    out = sess.run([loss, grad_w1, grad_w2], feed_dict=values)
    loss_val, grad_w1_val, grad_w2_val = out
    values[w1] -= learning_rate * grad_w1_val
    values[w2] -= learning_rate * grad_w2_val
    
    
复制代码

代码中有两个组件：定义计算图并多次运行这个定义的计算图。定义计算图的时候，输入x, 权重w1和w2 以级目标y 创建placeholders 进行占位。在向前传播中，计算目标y 的预测以级损失值(损失值为y的真实值与预测值之间L2距离). 最后让TensorFlow 计算关于 w1 和w2 的梯度损失。

完成计算图构建之后，创建一个会话框来运行计算图。这里创建了numpy 数组，它将填充图创建的占位符，将它们数值提供给x,y,w1,w2, 为了训练网络，反复运行计算图，使用梯度来更新权重然后获得loss，grad_w1 和grad_w2的numpy数组。

2. Theano (蒙特利尔大学)

Theano 是另一个用于快速数值计算的 Python 库，可以在CPU 或GPU 上运行。它是蒙特利大学蒙特利尔学习算法小组开发的一个开源项目。它的一些最突出的特性包括GPU 的透明使用，与NumPy 相结合,高效的符号区分，速度/稳定性优化以级大量的单元测试。但！MILA 实验室负责人在 2017年11月宣布他们不再积极维护或开发Theano。其原因是在于Theano 多年来推出的大部分创新技术现在被其他框架所采用和完善。以下是开源库的地址。

3. PyTorch (Facebook)

Pytorch 在学术研究者中很受欢迎，也是相对比较新的深度学习框架。 Facebook 人工智能研究组开发了pyTorch 来应对一些在它前任数据库Torch 使用中遇到的问题。但它的编程语言Lua 的普及程度不高，因此 Torch 没办法像 Google TensorFlow 那样的迅猛发展。PyTorch 采用了被已经为许多研究人员、开发人员和数据科学家所熟悉的原始Python 命令式编程风格。