【黑马头条】内容安全增强版之图片审核

已于 2024-04-13 13:14:46 修改
阅读量531 收藏 6
点赞数 6
文章标签： 阿里云 云计算
于 2024-04-11 21:11:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SunxN2000/article/details/137652982
版权
本文介绍了如何将黑马头条项目适配阿里云内容安全增强版接口，通过修改官方SDK以支持本地文件上传和重复使用连接，提高性能。涉及Pom依赖、工具类GreenImageScan的实现以及可优化点
摘要由CSDN通过智能技术生成

 因为黑马头条用的是阿里云的内容安全1.0接口，只有企业用户才能使用，所以我们只能改装他的审核工具类，使用阿里云的内容安全增强版的接口来实现图片审核。

为了能完全适配黑马头条项目的接口规范，我对官网提供的JAVA案例进行了改动，官网的SDK图片上传方式有三种：

  1. 使用公网url，这一点我们不符合，因为如果我们使用虚拟机的minio，那只能在局域网访问；
  2. 使用OSS云服务，开通云存储服务，将文件搬到阿里云上再审核，这样比较方便，但和黑马头条的技术栈不匹配。
  3. 本地上传（本质上还是临时上传到OSS上，再审核，不过不需要我们开通OSS服务，比较方便），但是上传方式和黑马头条不同，这里的SDK上传的传入值是文件在本地的路径，黑马是byteArray字节数组。

综合考量，改动方式3，在官网测试案例的基础上，将 fileStorageService 得到的字节数组转换为本地的文件，再将文件路径作为参数上传文件至阿里云，实现如下：

Pom依赖：

<!--安装内容检测SDK-->
<dependency>
  <groupId>com.aliyun</groupId>
  <artifactId>green20220302</artifactId>
  <version>2.1.0</version>
</dependency>

<!--安装OSS SDK-->
<dependency>
  <groupId>com.aliyun.oss</groupId>
  <artifactId>aliyun-sdk-oss</artifactId>
  <version>3.16.3</version>
</dependency>

GreenImageScan工具类： 

package com.heima.common.aliyun;

import com.alibaba.fastjson.JSON;
import com.aliyun.green20220302.Client;
import com.aliyun.green20220302.models.DescribeUploadTokenResponse;
import com.aliyun.green20220302.models.DescribeUploadTokenResponseBody;
import com.aliyun.green20220302.models.ImageModerationRequest;
import com.aliyun.green20220302.models.ImageModerationResponse;
import com.aliyun.green20220302.models.ImageModerationResponseBody;
import com.aliyun.green20220302.models.ImageModerationResponseBody.ImageModerationResponseBodyData;
import com.aliyun.green20220302.models.ImageModerationResponseBody.ImageModerationResponseBodyDataResult;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClientBuilder;
import com.aliyun.oss.model.PutObjectRequest;
import com.aliyun.teaopenapi.models.Config;
import com.aliyun.teautil.models.RuntimeOptions;
import io.minio.ObjectStat;
import lombok.Getter;
import lombok.Setter;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;

import java.io.File;
import java.io.FileOutputStream;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.UUID;

@Getter
@Setter
@Component
@ConfigurationProperties(prefix = "aliyun")
public class GreenImageScan {

    private String accessKeyId;
    private String secret;
    private String imageService;
    private String endpoint;

    //服务是否部署在vpc上
    public boolean isVPC = false;

    //文件上传token endpoint->token
    public Map<String, DescribeUploadTokenResponseBody.DescribeUploadTokenResponseBodyData> tokenMap = new HashMap<>();

    //上传文件请求客户端 
    public OSS ossClient = null;

    /**
     * 创建请求客户端
     *
     * @param accessKeyId
     * @param secret
     * @param endpoint
     * @return
     * @throws Exception
     */
    public Client createClient(String accessKeyId, String secret, String endpoint) throws Exception {
        Config config = new Config();
        config.setAccessKeyId(accessKeyId);
        config.setAccessKeySecret(secret);
        // 设置http代理。
        // config.setHttpProxy("http://10.10.xx.xx:xxxx");
        // 设置https代理。
        // config.setHttpsProxy("https://10.10.xx.xx:xxxx");
        // 接入区域和地址请根据实际情况修改
        config.setEndpoint(endpoint);
        return new Client(config);
    }

    /**
     * 创建上传文件请求客户端
     *
     * @param tokenData
     * @param isVPC
     */
    public void getOssClient(DescribeUploadTokenResponseBody.DescribeUploadTokenResponseBodyData tokenData, boolean isVPC) {
        //注意，此处实例化的client请尽可能重复使用，避免重复建立连接，提升检测性能。
        if (isVPC) {
            ossClient = new OSSClientBuilder().build(tokenData.ossInternalEndPoint, tokenData.getAccessKeyId(), tokenData.getAccessKeySecret(), tokenData.getSecurityToken());
        } else {
            ossClient = new OSSClientBuilder().build(tokenData.ossInternetEndPoint, tokenData.getAccessKeyId(), tokenData.getAccessKeySecret(), tokenData.getSecurityToken());
        }
    }

    /**
     * 上传文件
     *
     * @param filePath
     * @param tokenData
     * @return
     * @throws Exception
     */
    public String uploadFile(String filePath, DescribeUploadTokenResponseBody.DescribeUploadTokenResponseBodyData tokenData) throws Exception {
        String[] split = filePath.split("\\.");
        String objectName;
        if (split.length > 1) {
            objectName = tokenData.getFileNamePrefix() + UUID.randomUUID() + "." + split[split.length - 1];
        } else {
            objectName = tokenData.getFileNamePrefix() + UUID.randomUUID();
        }
        PutObjectRequest putObjectRequest = new PutObjectRequest(tokenData.getBucketName(), objectName, new File(filePath));
        ossClient.putObject(putObjectRequest);
        return objectName;
    }

    public ImageModerationResponse invokeFunction(String filePath) throws Exception {
        //注意，此处实例化的client请尽可能重复使用，避免重复建立连接，提升检测性能。
        Client client = createClient(accessKeyId, secret, endpoint);
        RuntimeOptions runtime = new RuntimeOptions();

        //本地文件的完整路径，例如D:\localPath\exampleFile.png。
        /*        String filePath = "D:\\localPath\\exampleFile.png";*/
        String bucketName = null;
        DescribeUploadTokenResponseBody.DescribeUploadTokenResponseBodyData uploadToken = tokenMap.get(endpoint);
        //获取文件上传token
        if (uploadToken == null || uploadToken.expiration <= System.currentTimeMillis() / 1000) {
            DescribeUploadTokenResponse tokenResponse = client.describeUploadToken();
            uploadToken = tokenResponse.getBody().getData();
            bucketName = uploadToken.getBucketName();
        }
        //上传文件请求客户端
        getOssClient(uploadToken, isVPC);

        //上传文件
        String objectName = uploadFile(filePath, uploadToken);

        // 检测参数构造。
        Map<String, String> serviceParameters = new HashMap<>();
        //文件上传信息
        serviceParameters.put("ossBucketName", bucketName);
        serviceParameters.put("ossObjectName", objectName);
        serviceParameters.put("dataId", UUID.randomUUID().toString());

        ImageModerationRequest request = new ImageModerationRequest();
        // 图片检测service：内容安全控制台图片增强版规则配置的serviceCode，示例：baselineCheck
        // 支持service请参考：https://help.aliyun.com/document_detail/467826.html?0#p-23b-o19-gff
        request.setService(imageService);
        request.setServiceParameters(JSON.toJSONString(serviceParameters));

        ImageModerationResponse response = null;
        try {
            response = client.imageModerationWithOptions(request, runtime);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return response;
    }

   

    public Map greeImageScan(byte[] bytes) throws Exception {
        /**
         * 阿里云账号AccessKey拥有所有API的访问权限，建议您使用RAM用户进行API访问或日常运维。
         * 常见获取环境变量方式：
         * 方式一：
         *     获取RAM用户AccessKey ID：System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
         *     获取RAM用户AccessKey Secret：System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
         * 方式二：
         *     获取RAM用户AccessKey ID：System.getProperty("ALIBABA_CLOUD_ACCESS_KEY_ID");
         *     获取RAM用户AccessKey Secret：System.getProperty("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
         */
        // 接入区域和地址请根据实际情况修改。

        //首先将传入的byte数组抓换为imageCache文件，再将文件路径作为参数进行文件上传
        String imagePath = "imageCache";
        File file = new File(imagePath);
        FileOutputStream fileOutputStream = new FileOutputStream(file);
        fileOutputStream.write(bytes);

        ImageModerationResponse response = invokeFunction(imagePath);
        Map<String, String> resultMap = new HashMap<>();
        try {
            // 自动路由。
            if (response != null) {
                //区域切换到cn-beijing。
                if (500 == response.getStatusCode() || (response.getBody() != null && 500 == (response.getBody().getCode()))) {
                    // 接入区域和地址请根据实际情况修改。
                    response = invokeFunction(imagePath);
                }
            }
            // 打印检测结果。
            if (response != null) {
                if (response.getStatusCode() == 200) {
                    ImageModerationResponseBody body = response.getBody();
                    System.out.println("requestId=" + body.getRequestId());
                    System.out.println("code=" + body.getCode());
                    System.out.println("msg=" + body.getMsg());
                    if (body.getCode() == 200) {
                        ImageModerationResponseBodyData data = body.getData();
                        System.out.println("dataId=" + data.getDataId());
                        List<ImageModerationResponseBodyDataResult> results = data.getResult();
                        if (results.get(0).getLabel().equals("nonLabel") || results.get(0).getLabel().equals("nonLabel_lib")) {
                            resultMap.put("suggestion", "pass");
                        } else {
                            StringBuilder stringBuilder = new StringBuilder();
                            for (ImageModerationResponseBodyDataResult result : results) {
                                System.out.println("label=" + result.getLabel());
                                System.out.println("confidence=" + result.getConfidence());
                                stringBuilder.append("[label:" + result.getLabel() + ",confidence=" + result.getConfidence() + "] ");
                                resultMap.put("suggestion", "block");
                                resultMap.put("result", stringBuilder.toString());
                            }
                        }
                    } else {
                        System.out.println("image moderation not success. code:" + body.getCode());
                    }
                } else {
                    System.out.println("response not success. status:" + response.getStatusCode());
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            fileOutputStream.close();
            file.delete();
        }
        return resultMap;
    }
}

 其中的accessKeyId，secret，imageService，endpoint均需要我们在yaml文件中配置或者在nacos配置中心中配置。

imageService指的是图片检测增强版支持的检测服务。有以下几种：

  • baselineCheck：通用基线检测

  • baselineCheck_pro：通用基线检测_专业版

  • baselineCheck_cb：通用基线检测_海外版

  • tonalityImprove：内容治理检测

  • aigcCheck：AIGC图片风险检测

  • aigcCheck_cb：AIGC图片风险检测_出海版

  • profilePhotoCheck：头像图片检测

  • advertisingCheck：营销素材检测

  • liveStreamCheck：视频\直播截图检测

endpoint值得是支持的地域及接入地址，如下所示，根据自己的地区选择

 详细可见：如何使用图片审核增强版API_内容安全(Content Moderation)-阿里云帮助中心 (aliyun.com)

一些可以优化的地方：

因为本人比较菜，这个工具类还有很多地方需要优化，也欢迎评论区分享大家的代码。
以下是我个人认为可以优化的几个地方：

  1. 这个图片上传的连接最好可以重复使用，而不是上传一次就断开。
  2. 黑马头条提供的api的传入值类型是List<byte[]>，可以一次性处理多张图片，而我这个只能一次性处理一张，而且每处理一张就要重新建立连接，浪费资源和性能。
SpringCloud的新闻资讯项目03--- 自媒体文章发布
hcz666的博客
08-14 190
SpringCloud的新闻资讯项目03--- 自媒体文章发布
黑马头条，黑马头条，黑马头条
08-05
黑马头条，黑马头条，黑马头条
黑马头条 各种踩坑合集 从0到1 欢迎留言提问
我亦无他，唯手熟尔
08-03 5954
《黑马头条》项目采用的是SpringBoot+springcloud当下最流行的微服务为项目架构，配合spring cloud alibaba nacos作为项目的注册和配置中心。新课程采用快速开发的模式，主要解决真实企业开发的一些应用场景。深入挖掘技术和业务的解决方案，做到更加的通用，能举一反三，充分满足互联网行业中复杂的微服务技术要求。
项目接入阿里云内容审核增强版本，文本审核与图片审核。第三方审核
Java_Zzm的博客
01-07 2285
图片审核我测试过公网的图片，好像符合https协议的才可以，而我的域名是http协议的，测试一下好像即使公网可以访问但也出了问题，所以这里我采用的是本地图片测试。而我们这个图片拉取的时候是从minio里面拉取的，所以我们还需要从minio里下载图片，这个下载图片的方法我目前就先不给出了，额，因为我觉得不算是重点，如果大家需要的话可以评论留言，我会给出。这里的url我没有给出，因为图片是需要本地的，我把url下载的图片保存到本地了，这里的url是minio的访问图片。
java黑马头条 day5自媒体文章审核 敏感词过滤算法DFA 集成RabbitMQ实现自动审核
m0_73859807的博客
02-19 2978
做为内容类产品，内容安全非常重要，所以需要进行对自媒体用户发布的文章进行审核以后才能到app端展示给用户。2WmNews 中status代表自媒体文章的状态status字段：0 草稿 1 待审核 2 审核失败 3 人工审核 4 人工审核通过 8 审核通过（待发布） 9 已发布当自媒体用户提交发布文章之后，会发消息给RabbitMQ提交审核自媒体微服务提供消息监听，处理自动审核查询文章数据判断文章id是否为1 （只有1需要自动审核）
【黑马头条之图片识别文字审核敏感词】
蛋饼吧的博客
07-27 723
OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。
阿里内容安全增强版
weixin_51482975的博客
08-31 504
阿里内容安全增强版工具类及依赖
toutiao-m：黑马头条移动端
02-11
【 Toutiao-M：黑马头条移动端 】项目是一个基于JavaScript技术构建的移动应用，主要用于实现类似今日头条的新闻资讯浏览体验。这个项目的开发流程和常用命令如下： 1. **项目初始化**： 在开始开发前，首先需要对...
黑马头条后台接口API.md
10-30
黑马头条后台接口：用户登录，注册，编辑关注取消，评论；新闻文章：搜索，推荐，详情，列表获取，发布，收藏，点赞，编辑，文件上传；首页栏目获取和添加
基于Java技术的黑马头条实战项目设计源码
最新发布
10-03
该实战项目源码采用Java技术实现，总计包含278个文件，涵盖了203个Java源文件、32个XML配置文件、28个YAML文件以及少量其他类型的文件，如Factories...项目名为“黑马头条”，是针对黑马培训班学员设计的实战研究项目。
黑马头条前台API 接口文档
10-30
黑马头条前台-API 接口文档：用户登录，注册，编辑关注取消，评论；新闻文章：搜索，推荐，详情，列表获取，发布，收藏，点赞，编辑，文件上传；首页栏目获取和添加
SpringCloud的新闻资讯项目04 --- 自媒体文章-自动审核
hcz666的博客
08-14 462
SpringCloud的新闻资讯项目04 --- 自媒体文章-自动审核
P62问题1：调用不了阿里云文本内容安全接口
qq_1910444202的博客
12-10 293
## P62问题1： 调用不了阿里云文本内容安全接口
【Java项目推荐之黑马头条】项目中的内容安全和自动审核如何实现的？
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
10-06 927
在学习Java的路上还是遇到了很多不错的好项目的，今天分享给大家，希望能对大家面试有所帮助！后续会继续推荐其他好的项目，这次推荐的是B站开源的视频黑马头条项目，来吧学会它一起去虐面试官！！！阿里云不好使，这里使用百度云的来进行测试百度云搜索内容识别即可使用图像测试文本测试。
java进阶Map 集合
从零开始的博客
02-23 400
泛型里面，贴的标签是 键值对的类型 ， ，括号里面的3 是设置这个Map 容器的大小 ，开发中一定要设置map的初始化大小，具体多少按需求而定。可以说HashMap在开发中最常用，代码中随处可见，创建也很简单，new 一个 ，一样的集合创造出来了，不用就浪费了。创建三个学生，有属性（姓名，年龄），给每个学生定义上整形编号， 保存在map中，并且遍历输出学生编号，姓名，年龄。可以看到，entrySet效率是最高的 forEach 效率是最低的。【最后来一个例子，加深对map集合的使用】
【黑马头条之内容安全第三方接口】
蛋饼吧的博客
07-27 2827
内容安全是识别服务，支持对图片、视频、文本、语音等对象进行多样化场景检测，有效降低内容违规风险。目前很多平台都支持内容检测，如阿里云、腾讯云、百度AI、网易云等国内大型互联网公司都对外提供了API。按照性能和收费来看，黑马头条项目使用的就是阿里云的内容安全接口，使用到了图片和文本的审核。价格计算器 (aliyun.com)
【黑马头条】解决阿里云文本内容自动审核失效
weixin_46078500的博客
11-10 1498
黑马头条day04教程中关于内容安全第三方接口部分已经失效，需要重写配置类，看到弹幕里小伙伴都直接跳过这里，给各位提供一个新版接口的解决方案。
04-自媒体文章-自动审核-黑马头条
lisus2007的专栏
03-12 640
04-自媒体文章-自动审核-黑马头条
黑马头条文章和图片审核
Otada的博客
01-21 479
【代码】黑马头条文章和图片审核。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值