新技术前沿-2023-基于Hugging Face体验微软NewBing必应GPT4.0

皮皮冰燃

已于 2023-09-10 14:40:56 修改

阅读量434

点赞数

分类专栏：新技术前沿文章标签：新技术前沿

于 2023-08-26 15:14:59 首次发布

本文链接：https://blog.csdn.net/qq_20466211/article/details/132510383

版权

新技术前沿专栏收录该内容

11 篇文章 0 订阅

订阅专栏

Huggingface 超详细介绍
 Hugging Face官网
 go-proxy-bing的GitHub官网

1 Hugging Face简介

Hugging face起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来。目前已经共享了超100,000个预训练模型，10,000个数据集，变成了机器学习界的github。

其之所以能够获得如此巨大的成功，一方面是让我们这些甲方企业的小白，尤其是入门者也能快速用得上科研大牛们训练出的超牛模型。另一方面是，这种特别开放的文化和态度，以及利他利己的精神特别吸引人。huggingface上面很多业界大牛也在使用和提交新模型，这样我们就是站在大牛们的肩膀上工作，而不是从头开始，当然我们也没有大牛那么多的计算资源和数据集。

在国内huggingface也是应用非常广泛，一些开源框架本质上就是调用transfomer上的模型进行微调（当然也有很多大牛在默默提供模型和数据集）。很多NLP工程师招聘的条目上也明摆着要求熟悉huggingface transformer库的使用。

Hugging Face是一家在自然语言处理和人工智能领域著名的公司，以开发开源的软件库和工具为主要贡献，其中最受欢迎的是Transformers库，广泛应用于诸如语言翻译、情感分析和问答等多种自然语言处理任务。此外，Hugging Face还开发了一些商业产品，例如Hugging Face Spaces和Hugging Face Datasets，为构建和部署自然语言处理模型提供工具和基础设施。

Hugging Face Hub是一个社区，旨在为机器学习开发者提供各种功能。其中主要包括：
(1)模型仓库（Model Repository）：类似于Git仓库，允许用户管理代码版本和开源代码，模型仓库则让用户管理模型版本和开源模型等，使用方式与Github类似。
(2)模型（Models）：Hugging Face为不同的机器学习任务提供了许多预训练好的机器学习模型，这些模型存储在模型仓库中。
(3)数据集（Dataset）：Hugging Face上有许多公开数据集可供用户使用。

在NLP领域，Hugging Face因其提供基于Transformer的模型而闻名。为了方便用户使用，Hugging Face还提供了以下几个项目：
(1)Transformers ：Transformers 库是Hugging Face的核心，我们学习Hugging Face其实就是学习怎么使用这个库。这个库提供了API和很多工具及方法，方便我们下载和训练最先进的预训练模型。这些模型支持不同模态下的常见任务，例如自然语言处理，计算机视觉，音频，多模态等。
(2)Datasets ：使用该框架，只需要少量代码即可轻松下载和预处理常见公开数据集。同时还提供了强大的数据预处理方法，可帮助我们快速准备数据，以用于训练机器学习模型。
(3)Space ：在这里我们可以在线体验很多有趣的应用，比如根据文字生成图片，根据我们的照片制作合成音视频等。

2 go-proxy-bing简介

2023年2月，尝到AI甜头的微软，与OpenAI联手，将聊天机器人工具ChatGPT整合到自家必应(Bing)搜索引擎当中，并命名为“New Bing”。在当时，New Bing来势汹汹，不仅使用了最强的GPT-4大模型，而且完全免费，目的就是希望撬动谷歌在搜索引擎领域的市场份额。

从当时各家测评来看，当ChatGPT被用作搜索工具时，它除了显示正常的搜索结果外，还会根据内容进行整理，直接给出最准确的答案，而传统搜索引擎仍然需要用户进行结果的筛选，效率与准确性远远不及ChatGPT。这样一来，当ChatGPT与Bing合体后，这个全新的搜索引擎带来了一种全新的商业模式——通过与聊天机器人进行交互，不断理解用户的需求，最终生成用户想要的答案。

NewBing不仅是一款搜索引擎，更是一个基于人工智能技术的全新生态系统。它利用了人工智能技术，将搜索引擎和其他智能化的服务和功能结合在一起，构建了一个全新的搜索和服务平台，为用户提供了更为丰富、个性化、可靠的搜索和服务体验。同时，NewBing对于人工智能技术的应用和发展，也具有重要的意义。

基于微软New Bing用Vue3和Go简单定制的微软New Bing演示站点，拥有一致的UI体验，支持ChatGPT提示词，国内可用，基本兼容微软Bing AI所有功能，无需登录即可畅聊。

3 安装部署流程

1、首先进入Hugging Face官网。
在这里插入图片描述
2、然后点击Sign Up(注册)一个账号，然后在邮箱中验证。

3、点击Spaces，创建新空间，即个人的新仓库。

4、点击Create new Space。

5、自定义空间名，选择mit协议，选择Docker部署，选择默认的免费控件，建立私有仓库。
在这里插入图片描述
收费的硬件配置。

6、配置Dockerfile。

# Build Stage
# 使用 golang:alpine 作为构建阶段的基础镜像
FROM golang:alpine AS builder
# 添加git, 以便之后可以从GitHub克隆项目
RUN apk --no-cache add git
# 从GitHub克隆go-proxy-bingai项目到/workspace/app目录下
RUN git clone https://github.com/Harry-zklcdc/go-proxy-bingai.git /workspace/app
# 设置工作目录为之前克隆的项目目录
WORKDIR /workspace/app
# 编译go项目,-ldflags="-s -w"是为了减少编译后的二进制大小
RUN go build -ldflags="-s -w" -tags netgo -trimpath -o go-proxy-bingai main.go

# Runtime Stage
# 使用轻量级的alpine镜像作为运行时的基础镜像
FROM alpine
# 设置工作目录
WORKDIR /workspace/app
# 从构建阶段复制编译后的二进制文件到运行时镜像中
COPY --from=builder /workspace/app/go-proxy-bingai .
# 设置环境变量,此处为随机字符
ENV Go_Proxy_BingAI_USER_TOKEN_1="kJs8hD92ncMzLaoQWYtx5rG6bE3fz4io"
# 暴露8080端口
EXPOSE 8080
# 容器启动时运行的命令
CMD ["/workspace/app/go-proxy-bingai"]