![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
J__333
这个作者很懒,什么都没留下…
展开
-
自动识别获取ip爬取数据信息
from bs4 import BeautifulSoupimport requestsimport ip_proxyfrom urllib import parseheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) C...原创 2018-08-22 22:50:02 · 599 阅读 · 0 评论 -
Scrapy的架构(爬虫框架)
这就是整个Scrapy的架构图了; 这里写图片描述Scrapy机构流程过程 Scrapy Engine》Spider Middlewares》Spiders》Scheduler 》Downloader Middlewares》Downloader》Spiders》Item PipelineScrapy Engine(引擎): 这是引擎,负责Spiders、ItemPipel...原创 2018-08-27 11:58:19 · 364 阅读 · 0 评论 -
利用selenium模拟浏览器登录豆瓣并且自动识别验证码(在需要验证码登录的情况下)
from selenium import webdriverimport timeimport requestsfrom lxml import etreeimport base64# 操作浏览器driver = webdriver.Chrome()url = 'https://accounts.douban.com/login?alias=&redir=https%3A%...原创 2018-08-23 21:36:20 · 468 阅读 · 0 评论 -
电影天堂获取电影
from urllib import requestimport reimport pymysqldb = pymysql.connect(host='127.0.0.1', user='root', password='123456', port=3306, database='xueqiu')cursor = db.cursor()for i in range(3): url...原创 2018-08-23 21:38:57 · 12917 阅读 · 0 评论 -
python实现各类常见加密方式
前言我们所说的加密方式,都是对二进制编码的格式进行加密的,对应到Python中,则是我们的Bytes。所以当我们在Python中进行加密操作的时候,要确保我们操作的是Bytes,否则就会报错。将字符串和Bytes互相转换可以使用encode()和decode()方法。如下所示:# 方法中不传参数则是以默认的utf-8编码进行转换In [1]: '南北'.encode()Out...原创 2018-09-10 22:43:14 · 1418 阅读 · 0 评论