米粒:
请问es在架构选择里没有提到,但很多产品目前是有用到,是只适合存储数据而不适合做分析吗?
我们的日志就是存到ES,没单独提ES是因为目前ES很成熟,而且强调文本搜索功能的话,基本只有ES一个选择。solr 生态圈太小。不过我们认为ES做分析场景有很多限制,比如 aggregration 的内存控制,所以复杂分析是放 spark/flink 上做
米粒:
对图数据库的应用,有没有好的建议?
我们实验过几乎所有开源图数据库,大规模计算下都有各种 scalability 问题,比如 特别多边的点,partition 后效率有问题。数据量不大的话,图数据库非常适合关联信息分析,比如反欺诈、威胁情报。建议规模大的话,得自己设计绕开开源图数据库的各种限制
米粒:
请问在所有部署过的分析平台中存储的数据的最大量级是多少?TB?PB?在选择存储构件时除了读写性能其他考量的指标有哪些?有些存储平台的性能差异在TB和PB级之间可能会差比较多,没有时间研究内部实现如何在短周期的性能测试中发现和比较?
实际客户部署大概最大500TB,还在持续增长中。实验室模拟测试过 PB 场景下的查询。我们因为是分析场景,读远远大于写,所以只要看集群的scalability 问题。我们会参考 https://aphyr.com/posts/323-call-me-maybe-elasticsearch-1-5-0 对各种引擎的测试方法,在实验室环境下进行类似测试。
米粒:
提问:deep learning在哪种安全场景下应用比较有效?
1 有监督学习(病毒、域名、网页内容等)样本分类
2 NLP语言/语音交互帮助分析人员自动化处理流程
米粒:
请问在关联事件规则动态制定和运行方面,瀚思是怎样实践的,有什么比较有用的框架和技术可以使用呢?
我们有场景引擎,输入是CEP和机器学习分析的结果,匹配场景规则。引擎基于 drools 改的, CEP、机器学习算法是自己写的。
米粒:
2.老师如何看待APT,如何应对;
APT 最近风声没两年前猛,业界前阵子都在谈低技术的勒索软件和黑产刷单的。我们认为 APT 只是低端的少了,高端的越发高端,主流沙箱方案根本无能无力。应对方法有
1 威胁情报
2 基于多维度的行为分析
3 病毒样本静态算法分析
米粒:
4.安全企业要想生存,近几年应注意些什么未来将注意些什么。
国内安全企业,近几年应该注意满足广大企业急剧扩大化的合规需求。未来注意防御高度自动化、人工智能化的攻击手段
米粒:
3.老师谈谈在信息安全等级保护方面的看法,未来等级保护有何趋势, 这个不是我专长就不回答了
米粒:
分享结束:
提问环节到此结束。再次感谢 万晓川老师的分享和精彩回答!
本次分享结束,再次谢谢嘉宾,也谢谢大家的配合!
请问es在架构选择里没有提到,但很多产品目前是有用到,是只适合存储数据而不适合做分析吗?
我们的日志就是存到ES,没单独提ES是因为目前ES很成熟,而且强调文本搜索功能的话,基本只有ES一个选择。solr 生态圈太小。不过我们认为ES做分析场景有很多限制,比如 aggregration 的内存控制,所以复杂分析是放 spark/flink 上做
米粒:
对图数据库的应用,有没有好的建议?
我们实验过几乎所有开源图数据库,大规模计算下都有各种 scalability 问题,比如 特别多边的点,partition 后效率有问题。数据量不大的话,图数据库非常适合关联信息分析,比如反欺诈、威胁情报。建议规模大的话,得自己设计绕开开源图数据库的各种限制
米粒:
请问在所有部署过的分析平台中存储的数据的最大量级是多少?TB?PB?在选择存储构件时除了读写性能其他考量的指标有哪些?有些存储平台的性能差异在TB和PB级之间可能会差比较多,没有时间研究内部实现如何在短周期的性能测试中发现和比较?
实际客户部署大概最大500TB,还在持续增长中。实验室模拟测试过 PB 场景下的查询。我们因为是分析场景,读远远大于写,所以只要看集群的scalability 问题。我们会参考 https://aphyr.com/posts/323-call-me-maybe-elasticsearch-1-5-0 对各种引擎的测试方法,在实验室环境下进行类似测试。
米粒:
提问:deep learning在哪种安全场景下应用比较有效?
1 有监督学习(病毒、域名、网页内容等)样本分类
2 NLP语言/语音交互帮助分析人员自动化处理流程
米粒:
请问在关联事件规则动态制定和运行方面,瀚思是怎样实践的,有什么比较有用的框架和技术可以使用呢?
我们有场景引擎,输入是CEP和机器学习分析的结果,匹配场景规则。引擎基于 drools 改的, CEP、机器学习算法是自己写的。
米粒:
2.老师如何看待APT,如何应对;
APT 最近风声没两年前猛,业界前阵子都在谈低技术的勒索软件和黑产刷单的。我们认为 APT 只是低端的少了,高端的越发高端,主流沙箱方案根本无能无力。应对方法有
1 威胁情报
2 基于多维度的行为分析
3 病毒样本静态算法分析
米粒:
4.安全企业要想生存,近几年应注意些什么未来将注意些什么。
国内安全企业,近几年应该注意满足广大企业急剧扩大化的合规需求。未来注意防御高度自动化、人工智能化的攻击手段
米粒:
3.老师谈谈在信息安全等级保护方面的看法,未来等级保护有何趋势, 这个不是我专长就不回答了
米粒:
分享结束:
提问环节到此结束。再次感谢 万晓川老师的分享和精彩回答!
本次分享结束,再次谢谢嘉宾,也谢谢大家的配合!