【第七周：08/05-08/09】city_name提取整合

一.2019/08/06（周二）

01.Pycharm激活码生成网站：http://idea.lanyus.com/

02.阶段总结：遇到问题：①.cnc提供的city_name有较多的缺失值（qita），且额外信息仅有ip段。因此唯一可行的思路是通过ip段来补全city_name缺失值。然而尝试在其他ip库上通过ip段查找city_name的时候，发现大部分ip库也同样缺失该信息，因此理论上cnc的city_name缺失值无法补全。②.maxmind给出的city_name细粒度不同，无统一标准。且无法通过算法将city_name映射到统一的标准上，因此只能寻找已有数据库进行查询。然而目前不存在覆盖面如此广的城市数据库，因此maxmind的city_name也难以做到标准化。③.总结：无法做到cnc和maxmind的city_name的统一化、标准化。目前能对cnc和maxmind的city_name做的处理是：通过经纬度反编码补全非英文的city_name；写查询api，输入为单个ip地址，输出为cnc和maxmind的city_name。

计划：①.先解决ISP匹配问题。

03.pandas describe（）函数：https://blog.csdn.net/j904538808/article/details/80747599

04.通过二分查找优化搜索速度：https://blog.csdn.net/u010339879/article/details/78330954

05.IPy库的使用：http://blog.chinaunix.net/uid-124706-id-163161.html

06.通过super调用父类的方法：https://blog.51cto.com/10836356/2108798

二.2019/08/07

01.2019/08/07，阶段总结：
A.关于不同IP库city_name的统一：
    ①.cnc提供的city_name有较多缺失值(qita)，且提供的额外信息仅有ip段。曾尝试在其他ip库上通过ip段查找city_name，发现大部分其他ip库也同样为缺失值，因此cnc的city_name缺失值无法补全。
    ②.maxmind的提供的city_name细粒度不同，且目前不存在覆盖面如此广的数据库，可以将不同细粒度的city_name进行标准化。此外也无法通过文本相似度匹配算法进行标准化。
    ③.因此，难以将cnc和maxmind的city_name进行统一标准化。
B.关于不同IP库的ISP的统一：
    ①.cnc有4698514条ISP数据，有230种不同ISP。其中为缺失值（XX_qita）的有1846615条。该部分缺失值无法补全。
    ②.maxmind有1148833条ISP数据，有82945种不同ISP。之所以有这么多种ISP也是因为划分较细。
    ③因此，ISP处理上遇到的问题与city_name的问题相似，同样也难以进行统一标准化。
C.目前完成的：
    完成city_name和ISP查询的API。通过输入单个IP地址，查询在cnc和maxmind中该IP对应的city_name和ISP。

02.边界网关协议BGP和区域自治系统Autonomous System（AS）概念：https://blog.csdn.net/qq_38265137/article/details/80439561

三.2019/08/08

01.Pandas 中 SettingwithCopyWarning 的原理和解决方案：df=df.loc[:10].copy()即可解决报错：https://www.jianshu.com/p/72274ccb647a