大数据安全

网络安全概述
数据泄露   弱口令或者明文
钓鱼诈骗   使用伪基站
ddos    针对企业服务 比如dns或者服务器之类
apt攻击（高级可持续攻击）  企业或者政府    员工钓鱼加后门
     传统检测以及存在的问题：
基于特征检测流量 文件---被动响应
基于算法检测频率---apt/0day难防
基于token做身份识别---溯源困难
基于黑名单阻断---误报率高
基于扫描器补丁---孤立无援

大数据安全分析平台
大数据   针对网络流量，采集hap流量（网路流量） 日志   攻击样本  环境数据
大数据算法  聚类算法 分类算法 离散检测

大数据安全应用问题
  态势感知 威胁情报 攻击溯源 行为识别
态势感知 数据收集，掌握数据中的知识 数据中的对象及其行为和对象间的相互关系，知识的应用
    基础数据     
    基础数据-dns解析记录  -域名信息   -企业ip
  样本-恶意样本   -活跃病毒   -重大事件
    信誉-IP信誉  -url信誉  -文件信誉
攻击溯源（内网）
侦察跟踪 武器构建 载荷投递 突防利用 安装植入 通信控制 达成目标
攻击溯源（外网）  在于发现攻击者和攻击组织
集团溯源  省网溯源  市网溯源  再到被攻击对象
行为识别
    webshell行为特征    访问特征（源ip少 访问次数少）  
路径特征（文件名晦涩 路径隐蔽）引用特征（页面孤立 既不引用其他页面 也不被其他页面引用）
时间特征（系统中突然新建的页面 访问时间少）
功能特征（可执行命令 上传文件 下载文件等）
        分析
预处理
·响应码（2xx 3xx）
·规范化path、refer、参数解码  
·去除杂质（静态 白名单 扫描器等）
分析任务
·path分析，文件名解析  ·访问来源分析（时间 ip）  
·引用分析（A.refer = B(A！= B），则A的引用数+，B的被引用数+）
·功能分析（功能模型 上传、下载、命令执行）
确认任务
·回放请求 页面源码分析
·准确率 阈值优化

大数据平台安全
攻击者 方式 目的
   用户接口
·hue（2.6.1)dom xss
·入侵apache hue
找出指定的hue安装版本
找出访问hue目标用户
发送xss payload
获取目标用户权限
           管理员接口
   apache ambari3
入侵ambari  找出目标版本系统 劫持管理员账号  登录ambari  获取内网权限
   apache  ranger
慢速攻击漏洞 普通用户访问可登录目标ranger（无权限） 访问控制缺失 xss
入侵ranger  找出目标版本系统 劫持标准的hadoop账户  登录ranger（低权限）  cve-2015-0266提权
编辑账户 权限 访问策略
     发行版问题
更新慢 组件更新慢才会有安全问题
基础库漏洞  默认密码  默认配置
漏洞修复长
     外部接口

防护
充分的网络访问限制
充分的用户权限管理
外部连接   checklist
典型的web漏洞   渗透测试
组件的漏洞   cve
发行版漏洞   集成后测试  提供商