2019年11月_魑魅～魍魉

原创 selenium模拟登录QQ空间

利用selenium进行QQ空间模拟登录以及滑动验证from selenium import webdriverfrom selenium.webdriver import ActionChainsfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support import expected_condit...

2019-11-18 17:05:52 1305 1

原创 scrapy-redis

scrapy-redis一、特点与构架二、安装与使用三、常用设置四、redis中储存的数据

2019-11-08 10:01:24 205

原创 scrapy框架（五）

scrapy框架（五）一、下载中间件二、User-Agent中间件三、Scrapy.settings四、scrapy对接selenium示例谷歌浏览器webdriver下载地址：http://chromedriver.storage.googleapis.com/index.html...

2019-11-08 00:05:36 177

原创 scrapy框架（四）

scrapy框架（四）一、Request二、豆瓣登陆三、Response四、日志使用

2019-11-05 22:16:51 135

原创 scrapy框架（三）

scrapy框架（三）一、CrawlSpider二、案例实践三、CrawlSpider页面去重四、scrapy去重机制

2019-11-04 22:30:50 109

原创 scrapy框架（二）

scrapy框架（二）一、Scrapy shell二、Scrapy 选择器三、scrapy.Spider

2019-11-04 21:54:20 95

原创 time模块

time模块一、time模块的基本用法import time time_ticks = time.time() # 获取时间戳tup_time = time.localtime(time_ticks) # 将时间戳转换成时间元组str_time = time.strftime("%Y-%m-%d %H:%M:%S", tup_time) # 将时间元组格式化为时间字符串str_t...

2019-11-04 15:31:41 296

原创 scrapy框架（一）

scrapy框架（一）一、简介二、安装三、简单使用四、运行流程

2019-11-01 19:13:00 123

原创抓包工具之fiddler

抓包工具之fiddler一、HTTP代理二、fiddler2.1 安装2.2 认识fiddler2.3 app抓包三、综合练习利用fiddler抓包，编写一个12306火车票查票程序import requestsimport jsonimport csv# 注意cookie值会过期，报错，请重新设置cookieheaders = { '...

2019-11-01 17:46:27 298

原创迭代器与生成器

迭代器与生成器一、迭代器二、生成器

2019-11-01 12:01:12 103

原创网页解析之BeautifulSoup

网页解析之BeautifulSoup一、简介二、简单示例三、指定解析器四、节点对象

2019-11-01 11:26:51 97

weixin_45126194的博客