- 博客(6)
- 收藏
- 关注
原创 scraoy 反爬方法
1.User-Agen池 2.IP池 3.禁用COOKIE settings.py COOKIES_ENABLED = False 4.下载延迟 #settings.py DOWNLOAD_DELAY = 3 5.模拟登陆 Scrapy.FromRequest方法 #爬虫文件 # -*- coding: utf-8 -*- import scrapy clas...
2020-02-19 10:08:46 155
原创 动态页面,selenium和scrapy对接
#middlewares.py class WebDriverMiddleware(object): def process_request(self, request, spider): print("++++++++++++++下载中间件被启用++++++++++++++++++") browser = webdriver.Chrome() ...
2020-02-19 09:27:42 128
原创 scrapy随机UserAgent
#middlewares.py from fake_useragent import UserAgent #使用在线UA列表 class UserAgentMiddleware(object): def __init__(self,user_agent=''): self.ua = UserAgent(verify_ssl=False)#生成ua,忽略ssl证书认证...
2020-02-19 09:11:30 194
原创 web安全之数据库相关知识
web安全 作者:胖胖的小宇 来源:CSDN 原文:https://blog.csdn.net/m0_38055579/article/details/83545848 版权声明:本文为博主原创文章,转载请附上博文链接! MySQL注入常用函数 system_user() 系统用户名 concat() 没有分隔符地连接字符串 user() 用户名 concat_ws() 含...
2018-11-14 17:28:44 315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人