weixin_43097301的博客

原创 scrapy爬虫

scrapy爬虫1.scrapy是什么？1.简介Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。运用多进程，多进程，队列等技术。2.scrapy安装 pip install scrapy如果报错：Command "c:\python3.6.0\python.exe -u -c "import setupt...

原创 #Python3中tornado高并发框架

Python3中tornado高并发框架简介：Tornado是一种 Web 服务器软件的开源版本。Tornado 和现在的主流 Web 服务器框架（包括大多数 Python 的框架）有着明显的区别：它是非阻塞式服务器，而且速度相当快。得利于其非阻塞的方式和对epoll的运用，Tornado 每秒可以处理数以千计的连接，因此 Tornado 是实时 Web 服务的一个 理想框架。torna...

原创 #Django框架基础

原创 #Python3中 asyncio 原生协程

asyncio 原生协程asyncio协程的作用asyncio 是干什么的？异步网络操作高并发协程包含各种特定系统实现的模块化事件循环传输和协议抽象对tcp,upd,ssl,子进程,延时调用以及其他的具体支持模仿futures模块但适用于事件循环使用的Future类基于yield from的协议和任务,可以让你用顺序的方式编写并发代码必须使用一个将产生...

原创 #线程中生产者消费者模型

生产者消费者模型为什么queue方法是线程安全的Queue模块提供了一个适用于多线程编程的先进先出数据结构，可以用来安全的传递多线程信息。它本身就是线程安全的，使用put和get来处理数据，不会产生对一个数据同时读写的问题，所以是安全的。也就是说在put或者get的时候,就有锁在里面的部分源码展示class Queue: '''Create a queue object wit...

转载 #Git命令大全总览

Git 是一个很强大的分布式版本控制系统。它不但适用于管理大型开源软件的源代码，管理私人的文档和源代码也有很多优势。Git常用操作命令：远程仓库相关命令检出仓库：$ git clone git://github.com/jquery/jquery.git查看远程仓库：$ git remote -v添加远程仓库：$ git remote add [name] [url]删除远程仓库：...

原创 # Python3中tkinte制作表白小程序

Python3中tkinter简单小程序全程注释，方便理解from tkinter import *#下载包 或pycharm中安装Easy thinterfrom PIL import Image ,ImageTk#下载包 或pycharm中安装pillowimport tkinter#简单的图形开发界面的库import tkinter.messagebox#对话框模块，弹出对...

原创 #Python3中tkinter编程中Text.delete

Python3中tkinter编程中Text.delete详解 def delete(self, index1, index2=None): """Delete the characters between INDEX1 and INDEX2 (not included).""" self.tk.call(self._w, 'delete', index1

原创 #Python3中Tkinter 编程

Python3中Tkinter 编程Tkinter 编程Tkinter模块(“Tk 接口”)是Python的标准Tk GUI工具包的接口.Tk和Tkinter可以在大多数的Unix平台下使用,同样可以应用在Windows和Macintosh系统里.Tk8.0的后续版本可以实现本地窗口风格,并良好地运行在绝大多数平台中步骤：1.导入tkinter模块2.创建控件3.指定这个控件的mast...

原创 #git工作流程

常用代码总览也可直接进行官网git指南查看 链接如下：https://git-scm.com/book/zh/v2?tdsourcetag=s_pcqq_aiomsggit init #创建新的 Git 仓库git status #命令用于查看项目的当前状态。git add test #添加test文档进入缓存区 git status #命令来添加文件....

原创 #Python3中pywin32中常用代码解释

Python3中pywin32中常用代码解释摘要本文介绍 Win32 版本的 Microsoft Windows 操作系统提供的桌面窗口、顶层窗口和子窗口，以及它们之间的层级关系；解释了应用程序如何游历窗口结构，如何控制桌面上显示的窗口的样式和外观。窗口层级在 Microsoft Windows 图形环境中，用来显示信息的最基本元件是窗口。一个窗口和其它窗口之间的关系包括可见性关系、拥有关...

原创 #Python3控制QQ窗口

Python3控制QQ窗口这里写一个简单的控制，其他的窗口也一个样EnumWindows：#该函数枚举所有屏幕上的顶层窗口，# 并将窗口句柄传送给应用程序定义的回调函数。#回调函数返回FALSE将停止枚举，# 否则EnumWindows函数继续到所有顶层窗口枚举完为止。GetWindowText：编辑框文字获取，即可以简单理解为窗口的标题获取。import win32guiim...

原创 #Python3中装饰器@

Python3中装饰器什么是装饰器？装饰器，顾名思义，狭义的可以理解为起到一个装饰的作用。即定义一个函数后，想要重新使这个函数增加新的功能，但是不改变原函数的内容。可以想象着进行一个包装，然后再调用原函数，其实就是调用的包装后的函数。下面我们通过实例进行阐述：import time #def caltime(f):就是一个装饰器， #装饰器一般都...

原创 #Python3中数字金字塔

数字金字塔n = 0s = 0while n < 4: n += 1 i = 0 while i < 4-n: print(" ",end=" ") i += 1 j = 0 while j &

原创 #HTML5-CSS-transition-变形特效1

变形特效1概述  在CSS中执行变形转换的属性是CSS3属性中的 transform，能够执行“位移”、“旋转”、“缩放”、“倾斜”、“翻转”和“透视”等变形转换的设置，可以让Web页面的表现更加的“活跃”，增加页面的交互感，给用户留下更深的“印象”。但在用该属性进行设置时，特别是用于生产环境中时，一定要控制一个“度”，也就是说要避免“过度设计”，否则反而会让“印象”这一词有了贬义的意思。t...

原创 #HTML5-CSS-transition-过渡特效

CSS过渡特效概述  在CSS中用于设置过渡特效的属性是 transition，该属性允许CSS的属性值在一定的时间区间内平滑地过渡，这就拜托了我们在CSS3版本标准之前对“JavaScript”和“Flash”的依赖，使页面的性能得以提升。这种效果可以在鼠标悬浮（:hover）、鼠标单击（:active）、表单元素获得焦点（:focus）或对元素任何改变以及在JavaScript中某些事件执...

原创 #Python3中布尔类型False和True

Python中布尔类型布尔类型只有True（正确）和False（错误）两种值，但是布尔类型有以下几种运算：True：一个条件正确False：一个条件错误1.与运算：只有两个布尔值都为 True 时，计算结果才为 True。print(True and True) #(输出)Trueprint(True and False) #(输出)Falseprint(False and ...

原创 #css选择器的权重

css选择器的权重概述如果我们在使用css选择器的时候,有两个选择器同时选中了一个标签修改样式,那么css会决定使用哪一个选择器定义的样式呢？这就涉及到了我们的选择器权重计算,css会以最高的权重来作为样式的展现例子:下面两个选择器都选中了 id为html1的标签 那么css会采用哪个值作为展示呢? #ol1 > #html1 { color: #7...

原创 linux下Ubuntu和centeros实现cmatrix黑客屏保

1.在Ubuntu中直接运用$ sudo apt install cmatrix命令安装即可2.在centerOS中先要检查inux中的包: 1.gcc 2.gcc-c++ 3.make 4.ncurses-devel检查四个数据包:输入gcc-v 或c+士tv或make或ncurses-develv进行查看如果没有需要进行安装包一般yum istall make同理yum istal...

原创 Python爬虫滑块验证

Python爬虫滑块验证滑块验证网址：http://www.cnbaowen.net/api/geetest/from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWait # 等待元素加载的from selenium.webdriver.common.action_chains i...

转载 django form

django form我们之前在HTML页面中利用form表单向后端提交数据时，都会写一些获取用户输入的标签并且用form标签把它们包起来。与此同时我们在好多场景下都需要对用户的输入做校验，比如校验用户是否输入，输入的长度和格式等正不正确。如果用户输入的内容有错误就需要在页面上相应的位置显示对应的错误信息.。Django form组件就实现了上面所述的功能。总结一下，其实form组件的主要...

原创 #Python3使用Crypto加密，报错解决

Python3使用Crypto加密，报错解决pip install crypto 安装报错如下：ERROR: Command "'e:\python\python3.6\python.exe' -u -c 'import setuptools, tokenize;__file__='"'"'C:\\Users\\ADMINI~1\\AppData\\Local\\Temp\\pip-insta...

原创 (error) DENIED Redis is running in protected mode because protected mode is enabled, no bind address

redis-cli -h 192.XXX.XXX.XXX登录其他服务器报错如下所示，程序连接redis报错，根据错误信息，redis运行在受保护模式，需要redis.conf设置:protected-mode no。方法一：最有用，最实际，最快的（linux 和 windows都行）进入redis-cli后config set protected-mode no方法二：...

原创 Ubuntu安装redis后redis.conf配置为空，解决

Ubuntu安装redis后redis.conf配置为空使用 sudo apt install redis 后redis.conf 为空，刚开始还没注意，后面才发现是权限问题 -rw-r-更改一下权限：755sudo chmod 755 redis.conf ...

原创 redis可视化工具desktop manager

redis可视化工具desktop manager1.工具下载desktop manager官网下载（要收费）：https://redisdesktop.com/downloaddesktop manage其他地址下载：http://www.cncrk.com/downinfo/246169.htmlredis的官网还没有Windows版本，只能在这个GitHub上下载https://gi...

原创 windows自定义安装MongoDB“服务没有响应控件”

windows中MongoDB服务没有响应控件一般出在手动安装自定义安装路径的时候出现除开环境变量配置的问题解决：在mongod.cfg中最后面多了一个’mp:'删除保存即可...

原创 #python3中reduce函数

reduce函数reduce() 函数会对参数序列中元素进行累积。，下面是求3的阶乘：（Python3 中，reduce() 函数已经被从全局名字空间里移除了，它现在被放置在 functools 模块里，如果想要使用它，则需要通过引入 functools 模块来调用 reduce() 函数：）from functools import reduceprint(reduce(lambda x...

原创 AttributeError: 'str' object has no attribute 'decode'

错误：AttributeError: ‘str’ object has no attribute ‘decode’错误：在scrapy爬虫数据 中解码数据时str1="\u7684\u540d\u8bcd" #unicode编码print(type(str1))print(type(str1.encode()))print(str1.decode("unicode_escape")...

原创 #git码云GitHub绑定公钥

使用ssh命令生成SSH密钥 $ ssh-keygen -t rsa -C "你的邮箱"邮箱：码云或者GitHub上绑定邮箱接下来如果之前没有设置过就直接三次回车就好,如果之前设置过,则会提示是否要覆盖?敲Y即可;出现下面的页面就代表你已经设置成功了使用下面的这条指令可以查看生成的秘钥$ cat ~/.ssh/id_rsa.pub1接着,把已经生成的秘钥黏贴到github...

原创 warning: LF will be replaced by CRLF in bispython/venv/Lib/site-packages/dja

git添加时出现的错误warning: LF will be replaced by CRLF in bispython/venv/Lib/site-packages/dja解决：修改配置git config --global core.autocrlf false之后再添加文件或者commit都不会有之前的严重警告导致不能提交。行符的问题:因为Windows和Linux的换行符不一...

原创 scrapy爬虫输出格式错乱.csv/.json/.xml

scrapy爬虫输出格式错乱.csv/.json/.xmlscrapy输出格式cmd命令行：scrapy crawl 爬虫名字 -o 自定义文件名.格式默认文件放在spiders目录下json 类型：scrapy crawl one_spider -o one_spider.jsonxml 类型：scrapy crawl one_spider -o one_spider.xmlcsv...

原创 常用PC/手机浏览器UA

常用浏览器UAUA – uesr-agent – 用户代理，是服务器判断请求的种类，比如:使用PC和手机访问一个网站，呈现的画面是不一样的。原理就是设备的用户代理不同1 主要浏览器safari 5.1 – MACUser-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (...

原创 爬虫SSL: CERTIFICATE_VERIFY_FAILED错误解决方法

爬虫“SSL: CERTIFICATE_VERIFY_FAILED”Python 升级到 2.7.9 之后引入了一个新特性，当使用urllib.urlopen打开一个 https 链接时，会验证一次 SSL 证书。而当目标网站使用的是自签名的证书时就会抛出此异常。解决方案有如下两个：1）使用ssl创建未经验证的上下文，在urlopen中传入上下文参数import sslcontext =...

原创 # html页面head缓存设置

html页面缓存设置html头文件设置常用之： <meta> 设置缓存<meta http-equiv="pragma" content="no-cache">pragma与no-cache用于定义页面缓存,不缓存页面(为了提高速度一些浏览器会缓存浏览者浏览过的页面,通过下面的定义,浏览器一般不会缓存页面,而且浏览器无法脱机浏览.) <meta http-e...

原创 #Bootstrap

Bootstrap其实没什么写的，官网里面都有而且更详细，这里的话记录一下，留坑有什么问题在写。官网：https://v3.bootcss.com/css/

原创 # tornado-uvloop使用

tornado-uvloop使用简单言之asyncio 是Python3.4 之后引入的标准库的,这个包使用事件循环驱动的协程实现并发。uvloop 是 基于libuv 代替 asyncio 内事件循环的库livbuv 则是nodejs使用的io库#这里是实现策略转化，也可以直接安装tornadouvloop包，这里这是把内容提出来了#这里是我新建的文件 tornado_uvloop....

原创 #Python3面试小问题

(1) websocket 协议： # HTTP1.0还是1.1，都存在这样的缺陷： 1. 多次连接带来的性能损耗（即便是HTTP1.1，每个单独的网页文件的请求和应答仍然需要使用各自的连接）。 2. HTTP协议的会话都是客户端向服务器发起的。服务器不能主动发送消息给客户端。某些需要服务器向客户端推送通知的场景，客户端需要不断轮询服务器。 3. HTTP是非状...

转载 #http请求头与响应头

1)请求(客户端-&gt;服务端[request])GET(请求的方式) /books/java.html(请求的目标资源) HTTP/1.1(请求采用的协议和版本号)Accept: /(客户端能接收的资源类型)Accept-Language: en-us(客户端接收的语言类型)Connection: Keep-Alive(维护客户端和服务端的连接关系)Host: localhost:8...

转载 #mysql隔离级别

mysql隔离级别（重要）说明:隔离级别是mysql进行事务提交的时候,对数据的一种表现形式,事务的基本要素（ACID）（重要）原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位。一致性（C...

原创 #mongodb常用命令

mongodb操作切换数据库use mydb#其中mydb为自己要建的数据库名字插入数据1，插入单个或多个数据（db表示之前use的mydb数据库名字，collection为mydb数据库下面的集合名，当插入数据时，也就生成了对应得数据库和集合和数据）db.collection.insert(OBJ or [OBJ1,OBJ2, … OBJn ])。 #插入单个对象或多个对象。db...