Python爬虫滑块验证 Python爬虫滑块验证滑块验证网址:http://www.cnbaowen.net/api/geetest/from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWait # 等待元素加载的from selenium.webdriver.common.action_chains i...
django form django form我们之前在HTML页面中利用form表单向后端提交数据时,都会写一些获取用户输入的标签并且用form标签把它们包起来。与此同时我们在好多场景下都需要对用户的输入做校验,比如校验用户是否输入,输入的长度和格式等正不正确。如果用户输入的内容有错误就需要在页面上相应的位置显示对应的错误信息.。Django form组件就实现了上面所述的功能。总结一下,其实form组件的主要...
#Python3使用Crypto加密,报错解决 Python3使用Crypto加密,报错解决pip install crypto 安装报错如下:ERROR: Command "'e:\python\python3.6\python.exe' -u -c 'import setuptools, tokenize;__file__='"'"'C:\\Users\\ADMINI~1\\AppData\\Local\\Temp\\pip-insta...
(error) DENIED Redis is running in protected mode because protected mode is enabled, no bind address redis-cli -h 192.XXX.XXX.XXX登录其他服务器报错如下所示,程序连接redis报错,根据错误信息,redis运行在受保护模式,需要redis.conf设置:protected-mode no。方法一:最有用,最实际,最快的(linux 和 windows都行)进入redis-cli后config set protected-mode no方法二:...
Ubuntu安装redis后redis.conf配置为空,解决 Ubuntu安装redis后redis.conf配置为空使用 sudo apt install redis 后redis.conf 为空,刚开始还没注意,后面才发现是权限问题 -rw-r-更改一下权限:755sudo chmod 755 redis.conf ...
redis可视化工具desktop manager redis可视化工具desktop manager1.工具下载desktop manager官网下载(要收费):https://redisdesktop.com/downloaddesktop manage其他地址下载:http://www.cncrk.com/downinfo/246169.htmlredis的官网还没有Windows版本,只能在这个GitHub上下载https://gi...
windows自定义安装MongoDB“服务没有响应控件” windows中MongoDB服务没有响应控件一般出在手动安装自定义安装路径的时候出现除开环境变量配置的问题解决:在mongod.cfg中最后面多了一个’mp:'删除保存即可...
scrapy爬虫 scrapy爬虫1.scrapy是什么?1.简介Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。运用多进程,多进程,队列等技术。2.scrapy安装 pip install scrapy如果报错:Command "c:\python3.6.0\python.exe -u -c "import setupt...
#python3中reduce函数 reduce函数reduce() 函数会对参数序列中元素进行累积。,下面是求3的阶乘:(Python3 中,reduce() 函数已经被从全局名字空间里移除了,它现在被放置在 functools 模块里,如果想要使用它,则需要通过引入 functools 模块来调用 reduce() 函数:)from functools import reduceprint(reduce(lambda x...
AttributeError: 'str' object has no attribute 'decode' 错误:AttributeError: ‘str’ object has no attribute ‘decode’错误:在scrapy爬虫数据 中解码数据时str1="\u7684\u540d\u8bcd" #unicode编码print(type(str1))print(type(str1.encode()))print(str1.decode("unicode_escape")...
#git码云GitHub绑定公钥 使用ssh命令生成SSH密钥 $ ssh-keygen -t rsa -C "你的邮箱"邮箱:码云或者GitHub上绑定邮箱接下来如果之前没有设置过就直接三次回车就好,如果之前设置过,则会提示是否要覆盖?敲Y即可;出现下面的页面就代表你已经设置成功了使用下面的这条指令可以查看生成的秘钥$ cat ~/.ssh/id_rsa.pub1接着,把已经生成的秘钥黏贴到github...
warning: LF will be replaced by CRLF in bispython/venv/Lib/site-packages/dja git添加时出现的错误warning: LF will be replaced by CRLF in bispython/venv/Lib/site-packages/dja解决:修改配置git config --global core.autocrlf false之后再添加文件或者commit都不会有之前的严重警告导致不能提交。行符的问题:因为Windows和Linux的换行符不一...
scrapy爬虫输出格式错乱.csv/.json/.xml scrapy爬虫输出格式错乱.csv/.json/.xmlscrapy输出格式cmd命令行:scrapy crawl 爬虫名字 -o 自定义文件名.格式默认文件放在spiders目录下json 类型:scrapy crawl one_spider -o one_spider.jsonxml 类型:scrapy crawl one_spider -o one_spider.xmlcsv...
常用PC/手机浏览器UA 常用浏览器UAUA – uesr-agent – 用户代理,是服务器判断请求的种类,比如:使用PC和手机访问一个网站,呈现的画面是不一样的。原理就是设备的用户代理不同1 主要浏览器safari 5.1 – MACUser-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (...
爬虫SSL: CERTIFICATE_VERIFY_FAILED错误解决方法 爬虫“SSL: CERTIFICATE_VERIFY_FAILED”Python 升级到 2.7.9 之后引入了一个新特性,当使用urllib.urlopen打开一个 https 链接时,会验证一次 SSL 证书。而当目标网站使用的是自签名的证书时就会抛出此异常。解决方案有如下两个:1)使用ssl创建未经验证的上下文,在urlopen中传入上下文参数import sslcontext =...
# html页面head缓存设置 html页面缓存设置html头文件设置常用之: <meta> 设置缓存<meta http-equiv="pragma" content="no-cache">pragma与no-cache用于定义页面缓存,不缓存页面(为了提高速度一些浏览器会缓存浏览者浏览过的页面,通过下面的定义,浏览器一般不会缓存页面,而且浏览器无法脱机浏览.) <meta http-e...
# tornado-uvloop使用 tornado-uvloop使用简单言之asyncio 是Python3.4 之后引入的标准库的,这个包使用事件循环驱动的协程实现并发。uvloop 是 基于libuv 代替 asyncio 内事件循环的库livbuv 则是nodejs使用的io库#这里是实现策略转化,也可以直接安装tornadouvloop包,这里这是把内容提出来了#这里是我新建的文件 tornado_uvloop....
#Python3面试小问题 (1) websocket 协议: # HTTP1.0还是1.1,都存在这样的缺陷: 1. 多次连接带来的性能损耗(即便是HTTP1.1,每个单独的网页文件的请求和应答仍然需要使用各自的连接)。 2. HTTP协议的会话都是客户端向服务器发起的。服务器不能主动发送消息给客户端。某些需要服务器向客户端推送通知的场景,客户端需要不断轮询服务器。 3. HTTP是非状...
#http请求头与响应头 1)请求(客户端->服务端[request])GET(请求的方式) /books/java.html(请求的目标资源) HTTP/1.1(请求采用的协议和版本号)Accept: /(客户端能接收的资源类型)Accept-Language: en-us(客户端接收的语言类型)Connection: Keep-Alive(维护客户端和服务端的连接关系)Host: localhost:8...