qq_42336587的博客

转载 获取当前窗口的window

current_window = driver.current_window_handleprint(current_window,driver.title)可以看到当前的window和标签名

原创 部署---云服务

安装python   mysite为项目名阿里云:Cmder 链接服务器安装依赖工具 yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel mysql-devel gcc gcc-devel python-devel* 下载 wget https://www....

原创 uwsgi学习--虚拟机

WSGI uWSGI NGINXWSGI web服务器网关接口, 只是一种描述web服务器如何与web应用程序通信的规范uwsgi: 是一个全功能的服务器nginx: 是一个web服务器, 可以作为反向代理服务器 cmder源码安装python:    ssh [email protected]        连接linux服务器    scp python-3.6.5...

原创 css 基础

css基础css: 层叠样式表, 用来对html文档的外观表现显示排版和美化以及格式化        样式内嵌样式        文档内嵌样式        外部引用样式层叠和继承        层叠样式: 同一个样式通过不同的方式设置的样式表产生的样式重叠    重叠样式的优先级:            元素内嵌样式      优先级1 最高       ...

原创 前端基础

       纯属笔记前端:1. html : 超文本标记语言, 不是一种编程语言, 是一种描述性的标记语言2 . css : 层叠样式表, 通过css可以对html元素进行位置排版和美化3. js(javascript): 是一种脚本语言, 在网页开发中,js主要应用于网页增加各种互动功能和动态效果html标签是分等级的: 1. 文本级标签: p, span, a, b,...

原创 selenium 破解验证码

     纯属笔记 selenium结合云打码除了使用云打码(要钱+_+还是普通是字母数字输入验证码),还有使用selenium + PIL 破解验证码  附学习网址:https://www.cnblogs.com/z-x-y/p/9037920.htmlselenium +　ＰＩＬ破解滑块验证码的方法,具体的用法不是很清楚  附学习网址: https://www.jiansh...

原创 scrapy 部署爬虫

      纯属笔记scrapy部署爬虫项目:         功能:用于将自己本地的爬虫代码,打包上传到服务器上,让这个爬虫在服务器上运行,可以实现对爬虫的远程管理(远程启动,远程关闭,远程查看日志)服务器scrapyd的安装         pip install scrapy   scrapyd 提供一个客户端工具,就是scrapy-client使用这个工具对scra...

原创 分布式爬虫的原理与流程

           纯属笔记分布式:  一台电脑运行一个爬虫程序称为单机爬虫,将同一个爬虫放在多台电脑上或者同一台电脑的多个虚拟环境中,且同时启动这个爬虫就称为发布式 为什么要部署分布式爬虫: 当要进行大规模数据爬取时,一台电脑的爬取速度达不到要求,可以利用多台电脑来提高爬虫的爬取速度 配置 pip install scrapy-redis (如果使用虚拟环境先进入虚拟环境...

原创 爬虫 scrapy----代理IP + cookie池

     纯属笔记      代理IPclass RandomIPMiddleware(object):    def __init__(self, proxy_url):        self.proxy_url = proxy_url    @classmethod    def from_crawler(cls, crwaler):        return cls(...

原创 爬虫 scrapy---mongodb+mysql

纯属笔记settings:MONGO_HOST='localhost'MONGO_PORT=27017MONGO_DATABASE='text' 数据库名  库名>表名MONGO_COLLECTION='xiaoshuo'表名    MongoDB数据库存储class CustomMongodbPipeline(object):    def __init__(sel...

原创 scrapy----自定义Pipeline

     纯属笔记自定义pipeline:    imagePipeline:        get_media_requests      #获取item yield出来        file_path       #对图片的地址进行加密,然后将加密后的字符串当做图片的名称(可以自己定义图片的名称  可以从item中携带图片分类名称进行图片分类存储),然后return出来 ...

原创 爬虫虚拟环境文件的创建与注释

转载 Python虚拟环境的安装和配置(windows)

Python虚拟环境的安装和配置(windows)方法 一. (推荐使用方法二; 方便, 代码少)1.先在电脑上将python2.7和python3.5版本安装完成，并记清楚安装路径,统一安装在D盘2.配置系统环境变量中的path路径，添加路径的版本即为默认使用版本 3.在命令行工具中输入pip install virtualenv 下载python虚拟环境 4.在使用pip下载包时，经常会出现超...