每日总结
2017-01-09 星期一 林洋洋 全球鹰网科
一 工作安排
⑴ 数据整理及测试实现自动化,如果发现发现新的数据源,要立刻测试数据的有效性。
⑵ 拉卡拉测试 周反馈...。
⑶ 借鉴微步在线工具可以得到什么经验,可以学习?
二 工作进度
⑴ 没有发现有效数据源(部分数据密码已加密)。
⑵ 微步在线主要做的如下:
鉴别检测攻击、排除误报(威胁情报;文件检测;高级分析)
定性攻击目的、战术能力、攻击团伙等(情报上下文;沙箱的行为分析;多引擎检测历史结果)
溯源攻击者还做过什么,身份信息(关联拓线;whois信息;情报上下文)
可以借鉴有哪几点?:
1.基本检索(手机号,ip等),鉴别数据来源;
2.给用户提供情报接口;
⑶ 初步了解数据处理的基本概念,对今后处理也许有帮助。
三 工作总结
这个社会只会给有能力的人机会,自己在这方面还差很多!
附:
数据查重去重,数据匹配过程
帮助更多需要自动化解决工作的人们。
步骤:不完整,重复,错误,格式不规范数据 -> 数据清洗 -> 正确规范数据 -> 数据去重技术 -> 数据匹配。
使用过的一些相关软件,查看它们各自的缺陷:
缺陷:1.人工干预多; 2.数据率(数据质量)不高; 3.过于依赖地址,电话信息。
维护:数据在不断使用和变化的过程中,如果不维护,数据质量会不断下降(数据重复,格式不一致问题)。-> 数据清理,数据匹配,数据查重