qq_34577961的博客

以下代码可直接复制使用。

由于flask本地启用后，只能自己调用，同局域网下其他计算机无法访问，因此通过nginx转发的方法进行调用。

【代码】Flask基本用法。

生成两对密钥（公钥和私钥），一对给发送者(A)使用，一对给接收者(B)使用，加解密需要使用同一对密钥，因此，A需要使用B的公钥进行加密发送消息，B拿到消息后，才可以使用B自己的秘钥进行解密，这样传送的数据是安全的，但C也可能拿以公钥发送消息，所以B可能不知道这个消息是A还是C发的，所以就有了签名的概念。签名：A自己的密钥对，先把公钥给到B，然后A使用A自己的私钥生成签名，然后B就使用A的公钥进行校验签名。加密：由第1点得到，B无法准确无法区分发送者的身份。

一、Yaml的基本语法基本语法缩进时不允许使用Tab键，只允许使用空格 缩进的空格数目不重要，只要相同层级的元素左侧对齐即可 #标识注释，从这个字符一直到行尾，都会被解释器忽略二、读字典yaml文件内容：name: Steveage: 18hash: name: Steve, age: 18import yamlwith open('./yamldata.yaml', 'r', encoding='utf-8') as r: ''' windows环境

# 不支持xlsx后缀from xlutils.copy import copyimport xlrdimport xlwtclass read_wirte_xls(): def readXls(self,filename,sheetname): ''' 读文件 :param filename: 文件名 :sheetname: 要添加数据的表单名 ''' #打开一个xls文件 .

服务启动选择一台主机当做服务器，安装并启动 scrapyd 服务​服务端：pip install scrapyd客户端：​ pip install scrapyd-client启动服务：scrapyd，可以打开网址表示服务启动成功项目部署1.编辑需要部署的项目的scrapy.cfg文件，然后在该目录下执行以下命令进行项目部署2.scrapyd-deploy 部署名(配置文件中设置的名称) -p 项目名称eg：scrapyd-deploy abcd -pcra...

CrawlSpider全栈爬取的一个类创建项目后创建爬虫文件：scrapy genspider-t crawl spiderName www.xxx.com当前文件：D:\python_test\scrapyProject\crawl_spider\crawl_spider\spiders\spider_all.pyimport scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import C

scrapy中间件包含两块，爬虫中间件，下载中间件，主要以下载中间件，middlewares.py修改后如下方法描述先在setting打开中件间配置：DOWNLOADER_MIDDLEWARES = {'loadImg.middlewares.LoadimgDownloaderMiddleware': 543,}当前文件：D:\python_test\scrapyProject\loadImg\loadImg\middlewares.pyfrom scrapy import signals

基本操作：python—scrapy数据解析、存储_郑*杰的博客-CSDN博客一、爬取不同页面但数据解析相同的数据当前文件：D:\python_test\scrapyProject\scrapyProject\spiders\first.pyimport scrapyfrom ..items import ScrapyprojectItemclass FirstSpider(scrapy.Spider): name = 'first' start_urls = ['htt.

基本操作：python—scrapy数据解析、存储_郑*杰的博客-CSDN博客步骤：a.在爬虫文件抓取图片地址后返回给itmes对象b.在管道文件重写三个父类的方法来完成图片二进制数据的请求和持久化存储c.setting.py文件添加指定图片存放的目录：IMAGES_STORE = '指定目录路径'当前文件：D:\python_test\scrapyProject\scrapyProject\spiders\first.pyimport scrapyfrom ..items imp

redis语法，python使用redis_郑*杰的博客-CSDN博客python-pymongo模块_郑*杰的博客-CSDN博客python操作mysql数据库_郑*杰的博客-CSDN博客基本步骤：python—scrapy数据解析、存储_郑*杰的博客-CSDN博客当前文件：D:\python_test\scrapyProject\scrapyProject\settings.pyITEM_PIPELINES = { #数字表示管道类被执行的优先级，数字越小表示优先级越高

基本操作：python-scrapy爬虫框架基本使用_郑*杰的博客-CSDN博客数据解析当前文件 ：D:\python_test\scrapyProject\scrapyProject\spiders\first.pyimport scrapyclass FirstSpider(scrapy.Spider): name = 'first' start_urls = ['https://ishuo.cn/duanzi'] def parse(self, re

安装Linux/mac系统： pip install scrapy（任意目录下）Windows系统：a. pip install wheel（任意目录下）b. 下载twisted文件，下载网址如下： http://www.lfd.uci.edu/~gohlke/pythonlibs/#twistedc. 终端进入下载目录，执行 pip install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl 注意：如果该步骤安装出错，则...

点击链接：mongdb语法_叫我阿杰就好的博客-CSDN博客连接服务import pymongoconn = pymongo.MongoClient(host='localhost', port=27017)# 切换数据库,相当于在终端：use testdb = conn['test']# 登录该数据库(需要的话)#db.authenticate("admin", '123456')# 相当于db.'mongo_test.find()result = db['mongo_test']

增删改查pip install pymysqlimport pymysql# 创建链接对象conn = pymysql.Connect( host='127.0.0.1', port=3306, user='root', password='admin', db='AnHui', charset='utf8')# 创建一个游标对象cusor = conn.cursor()# 插入sql = 'insert into emp(na.

from selenium import webdriverimport requestsurl = 'https://www.zhihu.com/signin?next=%2F'driver = webdriver.Chrome(r'./chromedriver.exe')driver.get(url)# 得到一个字典，将其解析成浏览器需要的cookieg形式cookies=driver.get_cookies()dic={}for cookie in cookies: key .

下载浏览器驱动程序：http://chromedriver.storage.googleapis.com/index.html查看驱动和浏览器版本的关系：http://blog.csdn.net/huilan_same/article/details/51896672常用方法浏览器创建Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等.另外，也支持无界面浏览器。from selenium import webdriver browser = webdriv

为什么使用协程？当多线程或者多进程足够多时，实际上并不能解决性能的瓶颈问题，也就是多线程和多进程对小规模的请求可以提高效率，过多的请求实际上会降低服务资源响应效率，因此协程是更好的解决文案。什么是协程？当一个程序遇到阻塞时，如果将这个程序挂起，然后将它的cpu权限拿出来去执行我们的其他程序，执行完后再回过头来执行这些挂起的程序，此时所有非阻塞操作已经执行完毕，最后在一起执行阻塞程序，是不是相当于做了异步。因此，协程的作用就是检测阻塞的程序，在单进程和单线程的情况下实现异步，相比多线程和多进程

现在很多网站启用了防盗链反爬，防止服务器上的资源被人恶意盗取。什么是防盗链呢？以图片为例，访问图片要从他的网站访问才可以，否则直接访问图片地址得不到图片练习：抓取微博图片：http://blog.sina.com.cn/s/blog_01ebcb8a0102zi2o.html?tj=1直接请求real_src请求到的图片不显示，加上Refere请求头即可哪里找Refere：抓包工具定位到某一张图片数据包，在其requests headers中获取from lxml import

import requestsfrom lxml import etreeheaders = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.80 Safari/537.36',}url = 'https://www.sogou.com/web?query=ip'#使用代理服务器发起请求#prox.

基于session对象实现自动处理cookie思路。1.创建一个空白的session对象。2.使用session对象会返回cookie的请求，目的是为了捕获cookie，然后存储到session对象3.使用携带cookie的session对象发起请求就可以实现携带cookie的请求发送，从而获取想要的数据。注意：session对象至少需要发起两次请求，所以效率相对直接发requests会慢点，所以不需要cookie的情况不必要使用sessionimport requestssession

基本语法from lxml import etree 如果这种方式报错，使用下面方式导入etreefrom lxml.html import etreetree = etree.HTML(respone)# 通过标签定位title_tag = tree.xpath('/html/head/title') # 绝对路径title_tag = tree.xpath('//title') # 相对路径# 属性定位：根据标签的属性定位标签：//tagName[@attrName="attrVa

基本语法from bs4 import BeautifulSoup#实例化BeautifulSoup对象，然后把即将被解析的页面源码数据加载到了该对象中soup = BeautifulSoup(respone,'lxml') #respone，表示html源码，可以读取本地文件，也可以读取网络请求标签定位# 标签定位,只会得到第一个匹配到的数据# 语法：soup.标签名import requestsfrom bs4 import BeautifulSoupheaders = {