大数据安全国内外技术发展现状与趋势现状

以下内容是本人自己整理归纳。

1 大数据面临的机遇

1.1大数据技术促进国家和社会发展

现在我国正处于全面建设小康社会的征程中，工业化，信息化，城镇化，农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，推进信息网络技术广泛应用，数据发展对于我们把握国情，规律，实现科学发展，作出科学决策具有重大意义。

1.2大数据成为企业竞争的新焦点

大数据正在对每一个领域都造成影响，例如金融，医疗，教育，民生，政府管理，智慧化城市建设等这些领域。大数据存在潜在的价值，获得了数据就掌握了主动权，数据加以脱敏化，清洗之后就可以为企业所用，再根据企业的服务模式就可以为企业带来更多的利益。

1.3 大数据技术为大数据安全技术的研究提供了技术支持

传统的数据安全是非实时性处理，就是处理一些结构化数据如数据库记录，系统日志，离线文件等。同时涌现出来的一批新型攻击手段，例如高级持续性威胁APT，分布式拒绝服务攻击DDos,反钓鱼网站，伪基站建设，基于机器学习的数据挖掘和隐私发现新型攻击手段，使得传统的数据安全失效。但是基于大数据技术的大数据安全，采用了深度学习等技术，可以学习这些攻击的手段，并且采用关联技术可以追溯到这些攻击的背景和习惯，然后再采取响应的防范技术，减少大数据泄露的风险。大数据技术的安全处理是结构化数据和非结构化数据的在线分析，及时发现安全隐患，掌握了数据安全的主动权，不再是被动的防御。

2 大数据给信息安全带来新挑战

2.1 大数据技术与大数据安全技术不匹配

随着大数据技术的发展，涌现出一大批大数据技术的平台和产品。但是这些大数据产品一般是基于底层复杂的，开放的分布式计算为其提供服务。这加大了大数据技术的安全管理难度。现在大数据用的hadoop因为其集成了很多组件，这些组件的安全性不能得到有效保证，同时因为现在数据的分布式存储和共享导致大数据应用的网络边界模糊。传统的边界安全保护失效。 海量数据对现有存储和安防措施提出挑战，基于hadoop的大数据以非结构化数据为主要数据的存储形式，如Hbase，Hive，Cassandra,Spark,MongoDB , 以上的非结构化数据库和结构化数据库相比，非结构化数据库发展不是很完善，为了访问速度更快，部署方式不统一，而且保密性和完整性由访问数据的平台提供，在设计的时候对授权访问以及安全审计安全功能需求考虑少，大数据的发展涌现出一大批大数据平台和系统，忽略了大数据安全，加上现在我国智能终端的发展安全防护体系不成熟。这些复杂的数据存储在一起，造成企业管理不合规，安全防护手段不合规，存在漏洞被应用到攻击手段中、黑客收集更多有用信息。

2.2 应用访问控制越来越复杂

大数据只有得到传输和共享才可以实现价值，在共享时面临数据访问权限问题，因为角色众多，无法精细和细粒度化的为每个角色划定数据访问范围，没有清晰的数据安全边界，导致数据泄露严重。大数据不是静态的，是流动的，构建数据为中心的动态，连续的数据安全防护体系。同时数据流动路径复杂，使得数据加密困难，这导致应用访问控制也越来越复杂。

2.3 大数据真实性很难保证

大数据的海量，多样化，快速，异构化，这些特点，随着社会网络化数据越来越多，每天都会产生大量数据，有些攻击者会伪造数据企图诱导数据获得真实的结果，由于采集端性能不足，技术不足，信息量有限，数据来源复杂，无法对每个数据都进行真实性检测，加大了数据清洗的工作量。

2.4 数据加密技术不完善

现在大数据依赖于云服务和分布式存储来实现数据共享，这种情况下数据就会被云服务提供商访问和处理，这样就会造成个人隐私信息泄露。密码技术是信息安全的基石，但是在适用场景，密钥保护方面存在不足，不适用大数据安全保护，最近提出了同态加密思想，就是数据经过加密之后可以在不解密的情况下第三方进行运算，而且不影响数据的保密性，这对要经过多方共享的大数据来说是一个很大的突破，但是还有待发展。

2.5大数据用于黑客攻击

大数据被用到攻击手段中。第一种就是黑客在攻击之前搜集更多有用信息。使得攻击更加精准，之前提到的APT攻击就有说，黑客在攻击之前会进行会不断收集用户信息，直到收集到有用