前言:
1.前面基于Springboot的单体项目介绍已经完结了,至于项目中的其他功能实现我这里就不打算介绍了,因为涉及的知识点不难,而且都是简单的CRUD操作,假如有兴趣的话可以私信我我再看看要不要写几篇文章做个介绍。
2.完成上一阶段的学习,我就投入到了微服务的学习当中,所用教程为B站上面黑马的微服务教程。由于我的记性不是很好,所以对于新事物的学习我比较喜欢做笔记以加强理解,在这里我会将笔记的重点内容做个总结发布到“微服务学习”笔记栏目中。我是赵四,一名有追求的程序员,希望大家能多多支持,能给我点个关注就更好了。
目录
一:需求分析
二:功能介绍
1.文本内容安全
2.图片内容安全
三:功能实现
1.前期工作
(1)开通服务并配置策略
(2)导入坐标
(3)配置腾讯云 API 访问密钥
2.代码实现
(1)文本内容安全
(2)图片内容安全
四:结果处理
1.返回参数
2.功能测试
(1)文本内容安全测试
(2)图片内容安全测试
(3)总结
一:需求分析
由于我最近在做的是新闻体裁的项目,由于互联网的发展,网络上面经常充斥着很多不可控的风险因素,如色情暴力、垃圾广告等,因此发布文章需要进行审核才能发布到App端。如果全部都要人工审核的话会很耗时间,这时候就可以借助第三方提供的服务来对内容进行审核。市面上提供的内容安全审核服务有很多,如腾讯云、阿里云、网易易盾等,不过都是收费的,我是学生党,没必要为了一个项目而去购买这些服务(这些服务还不便宜),不过好在这些服务都会免费送一个月给新用户使用,这样就还有的玩。
二:功能介绍
1.文本内容安全
什么是文本内容安全,主要指的是检测文本中是否包含色情暴力、广告内容等违规内容,并对检测出违规的文章进行屏蔽。而腾讯文本内容安全(Text
Moderation
System,TMS)是一款文本内容智能识别服务,对用户上传的文本进行内容安全识别,能够做到识别准确率高、召回率高,多维度覆盖对内容识别的要求,并实时更新识别服务的识别标准和能力。其具有以下特点:
- 能够对文本文件进行多样化场景检测,精准识别文本中出现可能令人反感、不安全或不适宜的内容,有效降低内容违规风险与有害信息识别成本。
- 能够精准识别涉黄等有害内容,支持用户配置词库,打击自定义的违规文本。文本内容安全服务能检测内容的危险等级,对于高危部分直接过滤,对于可疑部分提交人工复审,从而节省识别人力,降低业务风险。
- 以开放 API(Application Programming Interface,应用程序编程接口)的方式提供服务,用户通过调用API即可获取识别结果,高效构建智能化业务系统,提升业务运营效率。
2.图片内容安全
什么是图片内容安全,图片内容安全(Image Moderation
System,IMS)是一款图片内容智能识别服务。能够对图片文件进行多样化场景检测,精准识别图片中出现可能令人反感、不安全或不适宜内容;帮助我们有效降低内容违规风险与有害信息过滤成本。
IMS也能对色情、广告等进行检测,还能自定义检测内容,当然文本内容安全也支持自定义检测内容。
三:功能实现
1.前期工作
(1)开通服务并配置策略
要使用腾讯云的内容安全服务,首先需要注册一个腾讯与账号,并且开通相应的服务(文本内容安全&图片内容安全),然后可以在内容安全控制台创建自己的策略,具体配置教程见官方文档。
(2)导入坐标
我使用的是Java语言进行开发,所以选择接入Java SDK进行接入,导入以下坐标
com.tencentcloudapi
tencentcloud-sdk-java-cvm
3.1.528
com.tencentcloudapi
tencentcloud-sdk-java-tms
3.1.528
com.tencentcloudapi
tencentcloud-sdk-java-ims
3.1.528
(3)配置腾讯云 API 访问密钥
这两个服务都需要用到腾讯云API的访问密钥,因此使用在接入服务之前需要先申请自己的秘钥,申请地址点击这里。获取密钥之后,便可以将其配置到相应的微服务中,由于我使用了Nacos进行注册管理,这里我就将密钥信息放入Nacos配置中心中(密钥已部分删除,不能直接使用):
tencentcloud:
secretId: AKIDjLjtq1rSe5JJ3
secretKey: bxDFH66IH1glxeASULOJ
2.代码实现
(1)文本内容安全
-
需要的参数:密钥信息、待检测文本(String类型)
-
注意事项:不能直接将文本扔进去检测,检测之前需要对文本进行Base64加密
-
返回类型:JSON
package com.my.common.tencentcloud;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.tencentcloudapi.common.Credential;
import com.tencentcloudapi.common.profile.ClientProfile;
import com.tencentcloudapi.common.profile.HttpProfile;
import com.tencentcloudapi.common.exception.TencentCloudSDKException;
import com.tencentcloudapi.tms.v20201229.TmsClient;
import com.tencentcloudapi.tms.v20201229.models.*;
import lombok.Getter;
import lombok.Setter;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;import java.nio.charset.StandardCharsets;
import java.util.Base64;@Getter
@Setter
@Component
@ConfigurationProperties(prefix = “tencentcloud”)
public class TextDetection {
private String secretId;
private String secretKey;
public JSONObject greenTextDetection(String text) throws TencentCloudSDKException {
// 实例化一个认证对象,入参需要传入腾讯云账户secretId,secretKey,此处还需注意密钥对的保密
Credential cred = new Credential(secretId, secretKey);// 实例化一个http选项,可选的,没有特殊需求可以跳过 HttpProfile httpProfile = new HttpProfile(); httpProfile.setEndpoint("tms.tencentcloudapi.com"); // 实例化一个client选项,可选的,没有特殊需求可以跳过 ClientProfile clientProfile = new ClientProfile(); clientProfile.setHttpProfile(httpProfile); // 实例化要请求产品的client对象,clientProfile是可选的 TmsClient client = new TmsClient(cred, "ap-guangzhou", clientProfile); // 实例化一个请求对象,每个接口都会对应一个request对象 TextModerationRequest req = new TextModerationRequest(); //Base64加密 String encryptionText = Base64.getEncoder().encodeToString(text.getBytes(StandardCharsets.UTF_8)); //设置内容参数 req.setContent(encryptionText); // 返回的resp是一个TextModerationResponse的实例,与请求对象对应 TextModerationResponse resp = client.TextModeration(req); // 输出json格式的字符串回包 String result = TextModerationResponse.toJsonString(resp); return JSON.parseObject(result); }
}
(2)图片内容安全
-
需要的参数:密钥信息、待检测图片URL路径
-
注意事项:如果输入参数为待检测图片文件内容,也需要对其进行Base64编码,且图片 大小不超过5MB
-
返回类型:JSON
package com.my.common.tencentcloud;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.tencentcloudapi.common.exception.TencentCloudSDKException;
import lombok.Getter;
import lombok.Setter;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;
import com.tencentcloudapi.common.Credential;
import com.tencentcloudapi.common.profile.ClientProfile;
import com.tencentcloudapi.common.profile.HttpProfile;
import com.tencentcloudapi.ims.v20201229.ImsClient;
import com.tencentcloudapi.ims.v20201229.models.*;@Getter
@Setter
@Component
@ConfigurationProperties(prefix = “tencentcloud”)
public class ImageDetection {
private String secretId;
private String secretKey;public JSONObject greenImageDetection(String imageUrl) throws TencentCloudSDKException { // 实例化一个认证对象,入参需要传入腾讯云账户secretId,secretKey,此处还需注意密钥对的保密 Credential cred = new Credential(secretId, secretKey); // 实例化一个http选项,可选的,没有特殊需求可以跳过 HttpProfile httpProfile = new HttpProfile(); httpProfile.setEndpoint("ims.tencentcloudapi.com"); // 实例化一个client选项,可选的,没有特殊需求可以跳过 ClientProfile clientProfile = new ClientProfile(); clientProfile.setHttpProfile(httpProfile); // 实例化要请求产品的client对象,clientProfile是可选的 ImsClient client = new ImsClient(cred, "ap-guangzhou", clientProfile); // 实例化一个请求对象,每个接口都会对应一个request对象 ImageModerationRequest req = new ImageModerationRequest(); //设置图片url地址 req.setFileUrl(imageUrl); // 返回的resp是一个ImageModerationResponse的实例,与请求对象对应 ImageModerationResponse resp = client.ImageModeration(req); // 输出json格式的字符串回包 String result = ImageModerationResponse.toJsonString(resp); return JSON.parseObject(result); }
}
四:结果处理
1.返回参数
两个服务返回的参数基本相同,见下表:
![f2a3b970fa8d47b0b87a67a7ef6e94bb.png](https://img-
blog.csdnimg.cn/f2a3b970fa8d47b0b87a67a7ef6e94bb.png)
我这里主要用到的参数是SubLabel参数,其包含Block(建议屏蔽)、Review(建议人工复审)、Pass(通过)三种类型。
2.功能测试
(1)文本内容安全测试
@Autowired
private TextDetection textDetection;
@Autowired
private ImageDetection imageDetection;
@Test
public void textTest() throws TencentCloudSDKException {
JSONObject result_json = textDetection.greenTextDetection("冰毒");
String result = (String) result_json.get("Suggestion");
System.out.println(result);
}
![f46382f9cd854317abd0d88737fae33e.png](https://img-
blog.csdnimg.cn/f46382f9cd854317abd0d88737fae33e.png)
可以看到建议屏蔽。
(2)图片内容安全测试
检测图片:是一个冰毒图片,由于放上来会造成图片违规,这里就不放上来了,需要说明的是好像IMS对于纯图片识别效果不是很好,要是上面包含某些违规文字能够检测出来,应该是使用了OCR技术。
@Test
public void imageTest() throws TencentCloudSDKException {
JSONObject result_json = imageDetection.greenImageDetection(“http://49.234.52.192:9000/headlines/2022/07/21/e3428ce741f04602b6984196af18c4d4.png”);
String result = (String) result_json.get(“Suggestion”);
System.out.println(result);
}
![77c74e35dd7e421f957b7ed13ba78ec7.png](https://img-
blog.csdnimg.cn/77c74e35dd7e421f957b7ed13ba78ec7.png)
可以看到建议屏蔽。
(3)总结
腾讯云T-Sec 天御的内容安全检测结果还是挺靠谱的,还能自定义检测内容,大大提高了检测的精准度,而且调用起来十分方便,用来做项目练手很不错。
接下来我将给各位同学划分一张学习计划表!
学习计划
那么问题又来了,作为萌新小白,我应该先学什么,再学什么?
既然你都问的这么直白了,我就告诉你,零基础应该从什么开始学起:
阶段一:初级网络安全工程师
接下来我将给大家安排一个为期1个月的网络安全初级计划,当你学完后,你基本可以从事一份网络安全相关的工作,比如渗透测试、Web渗透、安全服务、安全分析等岗位;其中,如果你等保模块学的好,还可以从事等保工程师。
综合薪资区间6k~15k
1、网络安全理论知识(2天)
①了解行业相关背景,前景,确定发展方向。
②学习网络安全相关法律法规。
③网络安全运营的概念。
④等保简介、等保规定、流程和规范。(非常重要)
2、渗透测试基础(1周)
①渗透测试的流程、分类、标准
②信息收集技术:主动/被动信息搜集、Nmap工具、Google Hacking
③漏洞扫描、漏洞利用、原理,利用方法、工具(MSF)、绕过IDS和反病毒侦察
④主机攻防演练:MS17-010、MS08-067、MS10-046、MS12-20等
3、操作系统基础(1周)
①Windows系统常见功能和命令
②Kali Linux系统常见功能和命令
③操作系统安全(系统入侵排查/系统加固基础)
4、计算机网络基础(1周)
①计算机网络基础、协议和架构
②网络通信原理、OSI模型、数据转发流程
③常见协议解析(HTTP、TCP/IP、ARP等)
④网络攻击技术与网络安全防御技术
⑤Web漏洞原理与防御:主动/被动攻击、DDOS攻击、CVE漏洞复现
5、数据库基础操作(2天)
①数据库基础
②SQL语言基础
③数据库安全加固
6、Web渗透(1周)
①HTML、CSS和JavaScript简介
②OWASP Top10
③Web漏洞扫描工具
④Web渗透工具:Nmap、BurpSuite、SQLMap、其他(菜刀、漏扫等)
那么,到此为止,已经耗时1个月左右。你已经成功成为了一名“脚本小子”。那么你还想接着往下探索吗?
阶段二:中级or高级网络安全工程师(看自己能力)
综合薪资区间15k~30k
7、脚本编程学习(4周)
在网络安全领域。是否具备编程能力是“脚本小子”和真正网络安全工程师的本质区别。在实际的渗透测试过程中,面对复杂多变的网络环境,当常用工具不能满足实际需求的时候,往往需要对现有工具进行扩展,或者编写符合我们要求的工具、自动化脚本,这个时候就需要具备一定的编程能力。在分秒必争的CTF竞赛中,想要高效地使用自制的脚本工具来实现各种目的,更是需要拥有编程能力。
零基础入门的同学,我建议选择脚本语言Python/PHP/Go/Java中的一种,对常用库进行编程学习
搭建开发环境和选择IDE,PHP环境推荐Wamp和XAMPP,IDE强烈推荐Sublime;
Python编程学习,学习内容包含:语法、正则、文件、 网络、多线程等常用库,推荐《Python核心编程》,没必要看完
用Python编写漏洞的exp,然后写一个简单的网络爬虫
PHP基本语法学习并书写一个简单的博客系统
熟悉MVC架构,并试着学习一个PHP框架或者Python框架 (可选)
了解Bootstrap的布局或者CSS。
阶段三:顶级网络安全工程师
如果你对网络安全入门感兴趣,那么你需要的话可以点击这里👉网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!
学习资料分享
当然,只给予计划不给予学习资料的行为无异于耍流氓,这里给大家整理了一份【282G】的网络安全工程师从入门到精通的学习资料包,可点击下方二维码链接领取哦。
![](https://i-blog.csdnimg.cn/blog_migrate/e6ae1212983fd4ed4cc72034a650b522.jpeg)