【甲方安全建设】DevOps初体验

已于 2024-04-18 19:24:23 修改
阅读量1.6k 收藏 19
点赞数 23
分类专栏： 甲方安全 文章标签： 安全 devops 运维
于 2024-02-01 13:59:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53009585/article/details/135950671
版权
本文介绍了作者在安全开发实习期间的经历，包括如何使用Docker解决开发环境问题，引入DevOps的CI/CD流程，通过Jenkins构建和部署项目，以及初步探讨DevSecOps中的安全赋能和漏洞管理。
摘要由CSDN通过智能技术生成

文章目录

前言

临近春节，笔者经过半年北漂，期间辗转几家公司，同时也接触了几种不同岗位，也算对安全有了个初步的了解
目前在一家公司做安全开发相关实习，期间接触到一些比较有意思的技术，特此记录一下
之前写一些小的工具，无论是Bash、Python还是Java，都是顶多几百行的工作量，感觉不到开发的魅力，也没有开发和安全相结合的感觉，后面在公司有机会写一下完整的系统，以及后续的部署发布，体验到了创造的魅力(增删改查 hah)

传统的开发方式：

一开始写的时候 技术选型是SpringBoot+SpringSecurity+MyBatis+thymeleaf，前后端不分离直接java -jar project.jar 直接运行了，似乎其他的也不需要考虑，后面了解到"防御型编程"(开玩笑的)，直接将项目进行前后端分离SpringBoot+Vue(为什么选Vue？因为公司前端用的React)，后端提供接口文档给前端，这样开发出来的项目 后端与前端单独运行，将前端静态代码放在Nginx中，配置个反向代理啥的，这样项目也能跑起来
在这里插入图片描述nginx目录放置静态代码
在这里插入图片描述

Docker-解决环境问题

后面接触到了Docker 感觉容器化部署也不错，也不需要管Jdk版本，数据库版本啥的，部署起来简直不要太舒服，直接一个DockerFile就跑起来了。

FROM ubuntu:latest
FROM openjdk:8

# 设置工作目录
WORKDIR /app

COPY /target/springboot-backend.jar /app

EXPOSE 22
EXPOSE 8080

LABEL authors="xxxxxx"
LABEL version="1.0"
LABEL description="I think therefore I am."

ENV IMAGE_NAME=secPlatform-springboot

#RUN apt-get update vim net-tools openssh-server

ENTRYPOINT ["java", "-jar","springboot-backend.jar"]

这样看似乎也没什么问题
在这里插入图片描述这里搭配IDEA食用更佳

后面发现一个一个拉镜像也挺麻烦的，Java后端的、Nginx前端的、Mysql数据库的、Redis数据库，还有需要一个portainer做监测吧(这里还是要注意下数据卷挂载问题)，后面了解到Docker-Compose(单主机多容器)跟Docker Swam(多个主机容器集群 奈何资源有限)，写个Docker-Compose 直接一键编排也确实挺香的

version: "3"
services:
  nginx:
    image: nginx:latest
    container_name: springboot-nginx
    restart: always
    ports:
      - 80:80
    volumes:
      - /data/Docker/Volumes/nginx/html:/usr/share/nginx/html
      - /data/Docker/Volumes/nginx/nginx.conf:/etc/nginx/nginx.conf
    privileged: true
  mysql:
    image: mysql:8.2.0
    container_name: springboot-mysql
    restart: always
    ports:
      - 3306:3306
    environment:
      - MYSQL_ROOT_PASSWORD=xxxxxx
    volumes:
      - /data/Docker/Volumes/mysql/data:/var/lib/mysql
      - /data/Docker/Volumes/mysql/conf/conf.d:/etc/mysql/conf.d
  redis:
    image: redis:latest
    container_name: springboot-redis
    restart: always
    command: redis-server /etc/redis/redis.conf --appendonly yes --requirepass xxxxxx
    ports:
      - 6379:6379
    volumes:
      - /data/Docker/Volumes/redis/conf:/etc/redis
      - /data/Docker/Volumes/redis/data:/data
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "2"

  backend:
    image: springboot-backend:1.0
    container_name: springboot-back
    restart: always
    build: .
    ports:
      - 8080:8080
      - 122:22
    environment:
      - TZ=Asia/Shanghai  # 设置时区为上海（GMT+8）

  portainer:
    image: portainer/portainer
    container_name: portainer
    restart: always
    ports:
      - 9000:9000
      - 8001:8080
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /data/Docker/Volumes/portainer/data:/data

在这里插入图片描述

局限于服务器资源限制 说实话我其实想直接上K8s的(怎么着也要32g起步啊)。
做完这些感觉还是不够 自己写的代码还是需要构建打包 然后每次都需要重新部署前端&后端容器，这些操作还是需要手动的操作 感觉还是不够人性化(这里感觉稍微别扭一点的就是容器间通信问题 当然最近还在琢磨)

后面接触到了DevOps，CI、CD操作彻底解放双手

DevOps-CI/CD走向流水线

DevOps经历了瀑布模型到敏捷模型的’进化’，从传统的开发运维模型演变而来
DevOps中的Dev指的是Development（开发），Ops指的是Operations（运维），用一句话来说，DevOps就是打通开发运维的壁垒，实现开发运维一体化。
在这里插入图片描述

这里概念啥的不再重复，先上手再说，搭建环境的时候挺麻烦 不过好在已经习惯了
找了一些课程看了看 感觉里面的一些工具什么的都是自己曾经做渗透测试的时候经常遇到的系统，比如说Gitlab、Jenkins、Grafana、Prometheus，当时就顾的找有没有历史漏洞，版本能不能对上，能不能复现，打没打补丁，也不太在意这个系统是干嘛的，现在看起来这些系统原来都在DevOps中扮演着不同的角色。
相关工具使用：
代码管理：Gitlab
在这里插入图片描述
构建工具：Maven 与JDK 通过数据卷映射到Jenkins_home下
CI/CD(持续集成、持续部署)：Jenkins
在这里插入图片描述在DevOps流程中JenKins扮演着重要角色

在这里插入图片描述换一张图，再次震撼一下
在这里插入图片描述
基本上有点规模的公司都会使用这种开发流程

这里通过Jnekins构建过程中 控制台输出来简单讲述一下 Jenkins工作流程

Jenkins工作流程

Git拉取代码

Started by user whgojp
Running as SYSTEM
Building in workspace /var/jenkins_home/workspace/安全平台-后端
The recommended git tool is: NONE
No credentials specified
 > git rev-parse --resolve-git-dir /var/jenkins_home/workspace/安全平台-后端/.git # timeout=10
Fetching changes from the remote Git repository
 > git config remote.origin.url http://172.21.251.39:8929/whgojp/secplatform-springboot.git # timeout=10
Fetching upstream changes from http://172.21.251.39:8929/whgojp/secplatform-springboot.git
 > git --version # timeout=10
 > git --version # 'git version 2.39.2'
 > git fetch --tags --force --progress -- http://172.21.251.39:8929/whgojp/secplatform-springboot.git +refs/heads/*:refs/remotes/origin/* # timeout=10
 > git rev-parse refs/remotes/origin/main^{commit} # timeout=10
Checking out Revision a422d64e0ad3760e288170c97c6aa44669fde20e (refs/remotes/origin/main)
 > git config core.sparsecheckout # timeout=10
 > git checkout -f a422d64e0ad3760e288170c97c6aa44669fde20e # timeout=10
Commit message: "Update docker-compose.yml"
 > git rev-list --no-walk 13688eb2a3f81e7e1b4239a9b4dc10ac9857115c # timeout=10

Maven构建打包

[安全平台-后端] $ /var/jenkins_home/maven3.9.6/bin/mvn clean package -DskipTests
[INFO] Scanning for projects...
[WARNING] 
[WARNING] Some problems were encountered while building the effective model for springboot-backend:springboot-backend:jar:5.1
[INFO] ---------------< springboot-backend:springboot-backend >----------------
[INFO] Building springboot-backend 5.1
[INFO]   from pom.xml
[INFO] --------------------------------[ jar ]---------------------------------
[WARNING] The artifact mysql:mysql-connector-java:jar:8.0.33 has been relocated to com.mysql:mysql-connector-j:jar:8.0.33: MySQL Connector/J artifacts moved to reverse-DNS compliant Maven 2+ coordinates.
[INFO] 
[INFO] --- clean:3.2.0:clean (default-clean) @ springboot-backend ---
[INFO] Deleting /var/jenkins_home/workspace/安全平台-后端/target
[INFO] 
[INFO] --- surefire:2.22.2:test (default-test) @ springboot-backend ---
[INFO] Tests are skipped.
[INFO] 
[INFO] --- jar:3.2.2:jar (default-jar) @ springboot-backend ---
[INFO] Building jar: /var/jenkins_home/workspace/安全平台-后端/target/springboot-backend.jar
[INFO] 
[INFO] --- spring-boot:2.7.14:repackage (repackage) @ springboot-backend ---
[INFO] Replacing main artifact with repackaged archive
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  5.756 s
[INFO] Finished at: 2024-02-01T03:38:05Z
[INFO] ------------------------------------------------------------------------

通过SSH连接后端服务器

SSH: Connecting from host [7988de83981e]
SSH: Connecting with configuration [172.21.251.39] ...
SSH: EXEC: completed after 3,402 ms
SSH: Disconnecting configuration [172.21.251.39] ...
SSH: Transferred 3 file(s）
Finished: SUCCESS

在这里插入图片描述

当然，这个过程中还需要一些必要的配置，这里就不再复述

实现自己在Idea中写完代码push后自动部署 后续可以搭配webhook触发

在这里插入图片描述最终的docker-compose文件

version: "3"
services:
  nginx:
    image: nginx:latest
    container_name: springboot-nginx
    restart: always
    ports:
      - 80:80
    volumes:
      - /data/Docker/Volumes/nginx/html:/usr/share/nginx/html
      - /data/Docker/Volumes/nginx/nginx.conf:/etc/nginx/nginx.conf
    privileged: true
  mysql:
    image: mysql:8.2.0
    container_name: springboot-mysql
    restart: always
    ports:
      - 3306:3306
    environment:
      - MYSQL_ROOT_PASSWORD=xxxxxx
    volumes:
      - /data/Docker/Volumes/mysql/data:/var/lib/mysql
      - /data/Docker/Volumes/mysql/conf/conf.d:/etc/mysql/conf.d
  redis:
    image: redis:latest
    container_name: springboot-redis
    restart: always
    command: redis-server /etc/redis/redis.conf --appendonly yes --requirepass xxxxxx
    ports:
      - 6379:6379
    volumes:
      - /data/Docker/Volumes/redis/conf:/etc/redis
      - /data/Docker/Volumes/redis/data:/data
    logging:
      driver: "json-file"
      options:
        max-size: "100m"
        max-file: "2"

  backend:
    image: springboot-backend:1.0
    container_name: springboot-back
#    command: cd /data/Docker/Volumes/
    restart: always
    build: .
    ports:
      - 8080:8080
      - 122:22
    environment:
      - TZ=Asia/Shanghai  # 设置时区为上海（GMT+8）
      - 
  portainer:
    image: portainer/portainer
    container_name: portainer
    restart: always
    ports:
      - 9000:9000
      - 8001:8080
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /data/Docker/Volumes/portainer/data:/data

# gitlab 需要服务器4G往上 暂时放置本地
  gitlab:
    image: gitlab/gitlab-ce:14.0.7-ce.0
    container_name: springboot-gitlab
    restart: always
    hostname: 172.21.251.39
    environment:
      GITLAB_OMNIBUS_CONFIG: |
        external_url 'http://172.21.251.39:8929'
        gitlab_rails['gitlab_shell_ssh_port'] = 2224
        gitlab_rails['time_zone'] = 'Asia/Shanghai'
    ports:
      - 8929:8929
      - 2224:22 # 注意这里映射的是gitlab的22端口
    volumes:
      - /data/Docker/Volumes/gitlab/config:/etc/gitlab
      - /data/Docker/Volumes/gitlab/logs:/var/log/gitlab
      - /data/Docker/Volumes/gitlab/data:/var/opt/gitlab

  jenkins:
    image: jenkins/jenkins
    container_name: springboot-jenkins
    restart: always
    ports:
      - 18002:8080
      - 50000:50000
    volumes:
      - /data/Docker/Volumes/jenkins/jenkins_home:/var/jenkins_home
    privileged: true

在这里插入图片描述

实现效果

当然后台也进行docker-compose 编排
在这里插入图片描述
后面会考虑加入日志管理、系统监控、SonarQube(代码质量、安全检测)啥的 当然这也要看运维大哥给不给加内存了 hah

最近又又又接触到了DevSecOps

DevSecOps-安全赋能

顾名思义 就是在DevOps过程中贯穿了安全，近几年从DevOps演变而来的，
在这里插入图片描述
据我目前的认识，应该是在DevOps流程中加入一些安全工具等因素，比如说：
使用SAST(静态分析安全测试)：Fortify、AppScan
DAST(动态分析安全测试)：OWASP ZAP、Contrast
当然还有一些其他的工具：AWVS、Nessus
对源代码进行分析，以及源代码相关的SBOM(软件物料清单)：pom依赖、第三方组件(供应链攻击)
除了一些工具技术的干预外 还有一些安全培训等等相关介入
由于接触的时间并不长，部分的内容了解的不多，留个白吧，后面有机会再补充

关于安全平台

这里还是介绍一下自己正在开发的安全平台🤔️，目前只写了完整的两个功能

漏洞扫描

在这里插入图片描述可能有老哥一眼出发现了什么猫腻～～
可以实现批量添加、批量删除、以及定时扫描，导出报告用的POI自定义模版，以及高危漏洞不同颜色显示等等等
在这里插入图片描述每个目标对应多个漏洞，每个漏洞都有漏洞详情、修复建议什么的
不过还是存在一些问题(大量漏洞详情存储过程中性能优化、怎么快速筛选出有价值的漏洞并导出报告)

漏洞预警

在这里插入图片描述代码实现：通过定时监控微软、阿里云、奇安信等漏洞预警平台接口(api调用、爬虫)，使用钉钉webhook进行推送
在这里插入图片描述在这里插入图片描述当然还面临一些其他问题(平台的反爬虫、各平台推送重复怎么去重优化、漏洞及时更新详情)

TODO

  • 公司敏感信息泄漏监测(初步思路是通过GitHub接口监测……)
  • 本地资产管理(通过运维提供的资产列表，定期进行扫描端口、服务……)
  • 外网暴露面管理(通过Fofa进行资产汇总，定期监控……)
今天是 几号
关注
专栏目录
敏捷开发中的DevSecOps编程实践
CodeVorter的博客
09-17 52
综上所述，敏捷环境中的DevSecOps编程实践涵盖了自动化代码审查、持续集成和持续交付、容器化和编排，以及持续安全监测等关键步骤。持续集成（CI）和持续交付（CD）是DevSecOps流程中的关键环节，它们旨在确保团队能够频繁地、可靠地将代码交付给生产环境。持续安全监测是DevSecOps流程中的一个重要环节，它可以帮助团队实时监测应用程序的安全性，并及时采取措施来应对威胁和漏洞。自动化代码审查是DevSecOps中的一个关键实践，它可以帮助开发团队在早期发现和解决潜在的安全漏洞和缺陷。
中台实践：数据中台建设五步法
.
01-27 7115
数据中台这个东西，现在业界并没有一个完整的标准定义，数据中台至少首先是一个分布式的数据仓库，同时包含相对应实施的方法论和方案，介于分布式数据仓库和企业全面数据化中间的任意一个点都可以被定义为数据中台。 可以说，数据中台是实现企业全面数据化的一个解决方案，是一套支撑企业全面数据化的架构，会成为企业开展全面数据化的基础设施。 （1）中台是什么？ 企业级能力复用平台！ （2）如何构建中台？ 以用户为中心，从战略入手，愿景为指引，用科学有效的方法，步步为营沉淀企业级能力...
甲方信息安全建设经验
goodxianping的专栏
03-25 477
【代码】甲方信息安全建设经验。
甲方安全建设思考-3
guolong1983811的专栏
08-17 1896
❑ IDC规模稍大很容易超过商业NIDS处理带宽的上限，虽然可以多级部署，但无法像互联网架构一样做到无缝的水平扩展，不能跟基础架构一起扩展的安全解决方案最终都会掣肘。这样看上去比厂商提供的多层级联的方案稍微好一点，貌似解决了水平扩展问题，但是它仍然没有解决TCO的问题，无论如何这种方案都不适合拿到台面上来作为最佳实践，它只能用于暂时换取自研NIDS的时间。禁用LKM ，限制/dev/mem，内核参数调整，禁用NAT，Bash日志，应用配置加固，Web进程以非root运行，过滤特定文件类型。...
安全架构--2--关于企业安全体系建设历程的思考
武天旭的博客
04-12 4736
博主是涂鸦安全部门最早期成员之一，虽然不是安全负责人，却也有幸参与和见证了涂鸦安全体系从无到有的建设历程。本文是博主关于甲方安全体系建设历程的思考，分为三部分： 一、安全体系建设v1.0---快速治理 二、安全体系建设v2.0---系统化建设 三、安全体系建设v3.0---全面完善
甲方安全工作二三事
c0c0cf的专栏
09-25 2228
观点：保证基础设施安全的情况下，甲方安全是需要围绕着业务开展的，一切需要为业务服务，脱离业务去做安全是脱离企业竞争原则的，安全越贴近业务越好。 熟悉组织架构 1、熟悉组织架构，因为在甲方大多数工作是需要业务方配合的。了解一个业务线适合的安全接口人，最好对安全感兴趣并且对该业务线产品非常熟悉的人。快速了解公司的一些安全产品，每个产品提供怎么样场景的安全服务，向业务推广。 2、熟悉安
高性能零售IT系统的建设03-监控体系化的重要不亚于开发的投入
lifetragedy的专栏
10-08 1970
一个复杂大型系统的监控建设是伴随着系统的建设而成长的。监控的重要性好比黑暗中的火把、好比人类历史长河演变中火的作用，它的重要性等同于系统的设计与开发。本篇会全景式讲述体系化从0到1进行系统监控的建设。
比瓴科技以何魅力吸引安全大牛？
2401_84964300的博客
06-05 730
同样深耕于ASPM的比瓴认同唐总的看法。比瓴科技将ASPM视为甲方安全从业者的重要工具，长期以来，比瓴科技一直将ASPM从产品向平台转化，并将人的服务能力、工具的服务能力，拉伸到平台中。随后，唐总离开天融信加入中国电信集成，结合自身能力及工作中储备的经验，他优化了SOC的规则管理，并增加了如漏洞管理、安全监控等功能，推出了W3A SOC 2.0(ASPM雏形)。未来，唐总将会在指标和安全属性上做更加明确的指引，以符合甲方的需要，使其呈现的内容更加准确，帮助用户做更贴心的ASPM保姆级平台。
SDL已死，应用安全路在何方？
weixin_47208161的博客
03-16 667
前言应用安全仍是重点投入领域SDLC遇到的问题安全并不是安全团队可以独立解决的事情加强设计和部署阶段的投入是大势所趋SDLC适合软件开发，云和devops定义了新...
阿里云主要产品及功能介绍，阿里云产品分为6大分类：云计算基础／安全／大数据／人工智能／企业应用／物联网
热门推荐
m0_58207718的博客
05-14 1万+
目录 云计算基础（Cloud Essentials）： 安全（Security）： 大数据（Data Technology）： 人工智能（AI）： 企业应用（Enterprise Applications）： 物联网（IOT）： 云计算基础（Cloud Essentials）： 云基础产品体系完整度全球领先，基础产品及功能持续投入建设，源源不断的通过新技术提高企业云上的计算、运维、开发和管理能力。...
中国IT服务运维工具框架图2.0说明.pdf
10-30
- **甲方用户**：可以通过对照框架图，了解自身IT运维工具的现状，并根据实际情况进行调整或补充，实现更为完善的运维体系建设。 - **工具厂商**：能够基于框架图了解市场需求和发展趋势，为产品开发和战略规划提供...
干货 | DevSecOps在携程的最佳实践
携程技术
07-09 1572
作者简介Living，携程高级基础安全工程师，关注应用安全、渗透测试方面的技术。一、DevSecOps面临的挑战作为业务覆盖机票、酒店、度假、汽车票、火车票、支付等各个方面，为全球用户...
互联网企业安全高级指南读书笔记之甲方安全建设方法论
不急不躁
04-02 2116
初期三件事 事前的安全基线 事中的监控能力 事后的应急响应 其实做攻防和研发安全产品完全是两码事，存在巨大的鸿沟，如果拿做攻防的团队直接去做安全工具开发，恐怕挫折会比较多，即便有些研究员擅长做底层的东西，但对于高并发生产环境的服务器工具而言，还是有很大的门槛。另一方面做攻防和做研发的思路也截然不同，此时其实是在交付产品而不是在树立安全机制，所以往往要分拆团队，另外招人 如何推动安全策...
AI与隐私：Facebook如何在数据保护中平衡创新与安全
2301_78954254的博客
11-07 663
在快速发展的数字时代，人工智能（AI）技术的应用正在为社交媒体平台带来前所未有的创新。然而，伴随着技术的进步，用户的隐私保护问题也愈加凸显。作为全球最大的社交网络之一，Facebook在推动AI技术应用的同时，必须面对如何在数据保护中实现创新与安全的平衡。本文将探讨Facebook在这一领域的策略和实践。
微软日志丢失事件敲响安全警钟
juminfo的博客
11-08 412
据报告，从9月2日至9月19日，持续长达两周的时间里，微软的多项核心云服务，包括身份验证平台Microsoft Entra、安全信息与事件管理（SIEM）平台Sentinel、云安全解决方案Defender for Cloud以及数据目录服务Purview，都经历了安全日志记录的空白期。系统可以实时、不间断地收集并整合各类设备的日志信息，通过先进的关联分析技术和机器学习手段，助力用户从庞杂的日志数据中快速识别异常安全事件，全面满足合规审计、分析调查及数据留存等多日志场景使用需求。
信息安全工程师（82）操作系统安全概述
m0_73399576的博客
11-08 1254
信息安全工程师——操作系统安全概述篇
【AI写作宝-注册安全分析报告-无验证方式导致安全隐患】
11-08 642
AI写作宝是一款基于人工智能技术的在线写作辅助工具，由合肥风平网络信息科技有限公司开发。它旨在帮助用户提升写作效率，通过AI技术自动生成文章、文案、作文等，适用于多种写作场景。该网站好像属于灰色地带的业务， 网站介绍什么的都没有，更容易被黑客攻击， 好像对短信被盗刷的安全方面不够重视 ，测试结果就是随便你怎么攻击都可以，这也有点太开放了， 短信验证码难道不要钱吗？这对黑客来说肯定是好消息， 弄个简单的脚本就可以搞定很多人在短信服务刚开始建设的阶段，可能不会在安全方面考虑太多，理由有很多。比如：“
shodan 【2】（泷羽sec）
m0_68984471的博客
11-08 854
shodan的使用方法
【 AI写作鹅-注册安全分析报告-无验证方式导致安全隐患】
最新发布
11-08 1035
合肥名阳信息技术有限公司成立于2016年，是一家专门从事移动互联网应用研发和运营的国家高新技术企业。公司坚持以用户为中心，打造富有吸引力的产品，满足移动互联网用户各项需求。公司产品涵盖：AI配音、AI写作、AiPPT、同声传译、文生视频，AI绘画、各种工具类应用，为消费者提供完善的办公、多媒体等领域的解决方案，秉承着专业、服务、高效、客户至上的原则，多年来致力于为用户提供服务新体验。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值