- 博客(6)
- 收藏
- 关注
原创 scraoy 反爬方法
1.User-Agen池2.IP池3.禁用COOKIEsettings.pyCOOKIES_ENABLED = False4.下载延迟#settings.pyDOWNLOAD_DELAY = 35.模拟登陆Scrapy.FromRequest方法#爬虫文件# -*- coding: utf-8 -*-import scrapyclas...
2020-02-19 10:08:46 156
原创 动态页面,selenium和scrapy对接
#middlewares.pyclass WebDriverMiddleware(object): def process_request(self, request, spider): print("++++++++++++++下载中间件被启用++++++++++++++++++") browser = webdriver.Chrome() ...
2020-02-19 09:27:42 130
原创 scrapy随机UserAgent
#middlewares.pyfrom fake_useragent import UserAgent #使用在线UA列表class UserAgentMiddleware(object): def __init__(self,user_agent=''): self.ua = UserAgent(verify_ssl=False)#生成ua,忽略ssl证书认证...
2020-02-19 09:11:30 195
原创 web安全之数据库相关知识
web安全作者:胖胖的小宇来源:CSDN原文:https://blog.csdn.net/m0_38055579/article/details/83545848版权声明:本文为博主原创文章,转载请附上博文链接!MySQL注入常用函数system_user() 系统用户名 concat() 没有分隔符地连接字符串user() 用户名 concat_ws() 含...
2018-11-14 17:28:44 315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人