实习Day27

2019.8.1

实习第二十七天

完成了get_all_bps_strikers.py !!

ps:使用ET时报xml格式错误可以注意一下反斜线

对于解决中文编码的万能钥匙:

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

会导致一些unicode超出范围时的编码转换错误，进而造成一些不好的后果，对于编码问题最好的方法是发送时encode,读数据时decode

学习:

1.移动端HTTPS中间人攻击的最关键因素是没有对SSL证书进行校验

2.CC攻击其实就是DDOS的一种，原理是向服务器发送大量需要服务器进行大量数据操作的合法请求

防御的思路可以是: 取消域名绑定 ， 域名解析欺骗 ， 黑名单IP ， 连接数量，时间，访问限制 （砸钱也行）

3.不使用爬虫框架高效、快速爬取大量数据的关键思想应该是（进程池，线程池，协程）

防止爬虫被BAN的方法可以是:设置下载等待时间/下载频率 ; 修改User-Agent ; 禁用/限制Cookie ; 分布式爬取 ; 修改IP（使用IP池）

4.背一遍OWASP TOP10 : 注入 ; 失效的身份认证 ; 敏感信息泄漏 ; XXE ; 失效的访问控制 ; 安全配置错误 ; XSS ; 不安全的反序列化 ;
使用含有已知漏洞的组件 ; 不足的日志记录和监控 ;