- 博客(77)
- 收藏
- 关注
原创 服务器搭建环境安装scrapy报错:Could not find a version that satisfies the requirement Twisted>=13.1.0
简述:在python2和python3共存的情况下,python2已存在scrapy或者不存在。则根据需要python3需安装scrapy,安装报错如下。。。错误原因,通过pip install 安装scrapy是报错Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrap...
2019-04-23 14:21:44
2297
原创 Linux系统下安装python3环境和创建虚拟环境,及wondows创建虚拟环境
Python3安装方法推荐链接参考https://www.cnblogs.com/kimyeee/p/7250560.html按照步骤安装完成后,进入虚拟环境,pip install xxx ,安装某个第三方库测试一下是否成功,如果报错与TLS/SSL相关,参考文章最后的操作。创建Python3虚拟环境使用python3解释器,创建虚拟环境 env3为虚拟环境命名...
2019-04-23 14:19:09
1289
1
转载 Win10 Python3.5 安装pymouse(pyuserinput)报错坑
看到python可以控制鼠标和键盘,所以自己也试了下。结果遇到数个坑。我的电脑环境:python3.5.4Win10 64位 商业版问题描述:1、由于python3.5把pymouse和pykeyboard放在了pyuserinput这个包里面,所以我们只要安装这个包就可以了。2、如果直接pip install pyuserinput,会提示要先安装pyhook这个包。...
2019-04-15 16:53:35
567
原创 Python-Scrapy遇到的问题,报错:FileNotFoundError: [Errno 2] No such file or directory: 'scrapy crawl xxx'
问题一:项目中使用到了爬虫(scrapy)框架已经任务调度框架,在调度过程中报错信息如下:Traceback (most recent call last):File "/usr/local/python3/lib/python3.6/site-packages/apscheduler/executors/base.py", line 125, in run_job retval ...
2019-04-08 10:07:27
3665
原创 Redis的数据丢失说起
问题情况说明:redis已存在数据全部丢失,或者部分丢失。redis超出最大重试次数,redis分为同步机制,异步机制。。。背景 公司的redis有时background save db不成功,通过log发现下面的告警,很可能由它引起的:[13223] 17 Mar 13:18:02.207 # WARNING overcommit_memory is set to 0! Bac...
2019-04-02 14:07:36
430
转载 python爬虫 requests异常requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded
错误提示:requests.exceptions.ConnectionError:HTTPSConnectionPool(host='baike.baidu.com',port=443):Maxretriesexceededwithurl:https://baike.baidu.com/item/%E5%88%98%E5%BE%B7%E5%8D%8E/114923(Cause...
2019-04-02 13:53:17
4411
原创 MySQL死锁导致无法查询解决
首先执行:select * from information_schema.innodb_trxselect * from information_schema.innodb_locksselect * from information_schema.innodb_lock_waits查看事件比较久的事物。如何当前时间select sysdate();AM 10:07而事物开始的时间是:...
2019-03-22 14:16:20
447
原创 数据库死锁问题,Navicat修改表的时候,数据库中的一张表打不开也关不上
问题描述在修改一张数据库的表的时候,加了一个字段。然后鼠标指针就一直在转圈,Navicat就未响应。解决方法一般表打不开有三种原因:原因一:表死锁,会出现这样的情况,锁不释放,无论多久都读取不了数据,一直加载中!原因二:表里面的数据量太大造成的。原因三:网络慢,卡,数据不能传输下面介绍一下死锁:一、 什么是死锁死锁是指两个或两个以上的进程在执行过程中,因...
2019-03-22 14:00:58
2295
原创 navicat操作mysql中某一张表后, 读表时一直显示正在载入,卡死不动,无法操作
首先执行:show full processlist; //列出当前的操作process,一般会看到很多waiting的process,说明已经有卡住的proces了,我们要杀死这些process!!再执行:查看status是否有ID被锁,如果被锁,杀死ID,kill ID;killprocessid; //processid表示process的id,比如kill 3301...
2019-03-22 13:59:41
12039
原创 schedule模块定时执行任务
一、基本使用import scheduleimport timedef job(): print("I'm working...")schedule.every(10).minutes.do(job)schedule.every().hour.do(job)schedule.every().day.at("10:30").do(job)schedule.ever...
2019-03-21 18:09:16
1248
原创 python链接redis方法
1.python 连接redis普通连接import redis#后面是地址 端口r = redis.Redis(host='127.0.0.1', port=6379)2.连接池redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销import redispool = redis.Connecti...
2019-02-26 09:31:16
443
原创 Python字典按值排序、包含字典的列表按字典值排序的方法
operator.itemgetter函数operator模块提供的itemgetter函数用于获取对象的哪些维的数据,参数为一些序号(即需要获取的数据在对象中的序号),要注意,operator.itemgetter函数获取的不是值,而是定义了一个函数,通过该函数作用到对象上才能获取值。eg: students = [('john', 'A', 15), ('jane', 'B', 1...
2019-02-13 09:45:32
5699
原创 django服务器重启,端口占用解决方案
在开发django项目时,启动开发服务器的命令为:python manager.py runserver [port]其中,[port]选项指定服务器所使用的端口 根据提示,要想关闭服务器,只需同过ctrl+c命令即可。关闭后可以再次启动服务器。 如果选择ctrl+z命令,服务器进程将被挂起,端口一直被占用。再次启动服务器会提示端口占用情况,如图: 遇到这种情况需要手动关...
2019-01-10 09:51:53
1222
原创 linux查看服务器端口状态,端口操作
查看服务器端口状态:Cd /etc/etc/init.d/iptables status 查看当前所有tcp端口netstat -ntlp查看所有80端口使用情况netstat -ntulp |grep 80查看所有3306端口使用情况netstat -an | grep 3306 开启8080端口cd /etc/sbin/iptables/ -I INPUT ...
2019-01-10 09:45:54
5936
原创 JS -- 标签内容行号自增,前端动态生成的
最近做一项目,需要对数据进行排序输出,要求有行号,依次递增1.2.3.4.5.......。前端通过<c:forEach> 遍历动态输出的<tr>,代码如下: <!-- 循环生成,列表数据 --> <c:forEach items="${pager.list}" var="auction"> <tr cl
2019-01-10 09:43:49
1301
原创 关于django服务器重启端口占用解决方案
在开发django项目时,启动开发服务器的命令为:python manager.py runserver [port]1其中,[port]选项指定服务器所使用的端口 根据提示,要想关闭服务器,只需同过ctrl+c命令即可。关闭后可以再次启动服务器。 如果选择ctrl+z命令,服务器进程将被挂起,端口一直被占用。再次启动服务器会提示端口占用情况,如图: 遇到这种情况需要手动关闭...
2019-01-09 18:08:31
593
转载 js DIV延时几秒后消失或显示代码
1、最常用的方法:<script language='javascript' type='text/javascript'>$(function () { setTimeout(function () { $("divid").show(); }, 6000);})</script>2、第二种方法jquery 让一个div...
2019-01-08 15:48:58
2815
原创 django 项目启动服务器错误 Error: That IP address can't be assigned to.
阿里云服务器上部署网站用的是python和django错误原因有很多:服务器的端口设置时没有打开开启服务的ip与服务器的ip不统一settings,.py 里面的ALLOWED_HOSTS = ['']设置有问题#settings设置ALLOWED_HOSTS = ['115.76.169.116', 'localhost', '0.0.0.0:8000']...
2019-01-08 15:43:15
3648
原创 python3 使用urllib.parse对url进行处理
对于处理某些通过 url 传参的请求,可以使用 urllib.parse 来处理,当然,也可以自己写方法。下面放上一个demo:import urllib.parse scheme = "http"host = "www.urllib_parse.com"path = r"test/test_1/test_2"data = { "key" : "value", ...
2018-12-21 13:59:38
1574
原创 tempfile模块可以用于生成临时文件和目录。
导入模块import tempfiletempfile.mkstemp([suffix=”[, prefix=’tmp’[, dir=None[, text=False]]]]) 以最安全的方式创建临时文件,并且仅有创建者可读、可写该文件。文件描述符并不传递给子进程。当不再使用临时文件时,需要显示删除os.remove(output_filename)。 参数:suffix指定文...
2018-12-20 11:34:36
1059
原创 python对安卓手机执行飞行模式
导入os模块import os它建议以下方式启用飞机模式:adb shell settings put global airplane_mode_on 1 不幸的是,它不起作用。它只是改变了飞行模式图标的状态,但所有无线电仍处于活动状态。它缺少一个非常重要的部分,即在设置更改后立即广播意图,以通知应用程序飞行模式状态已更改。要启用飞行模式,请使用以下命令: cmd...
2018-12-20 09:25:38
1843
3
原创 python-time模块》获取当前时间
strftime()功能:格式化输出时间字符串(str foramt time)格式:time.strftime('字符串格式'[,时间元组])返回值:格式化之后的哦字符串localtime()功能:获取当前时间元组格式1:time.localtime() 返回值:本地时间元组格式2:time.localtime(时间戳) 返回值:指定时间戳的本地时间元组...
2018-12-19 14:37:06
1373
原创 Python中》Requests Cookies操作【dict 和cookiejar互转】
dict 和cookiejar互转import requests#字典转cookiejarrequests.utils.dict_from_cookiejar(cj)#cookiejar转字典requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) ...
2018-12-19 13:51:59
3693
4
转载 logging模块学习笔记:basicConfig配置文件
#coding=utf8import sys, logging logging.basicConfig(level=logging.INFO, format='levelname:%(levelname)s filename: %(filename)s ' 'outputNumber: [%(li...
2018-12-18 18:11:44
780
原创 python 使用requests请求https输出警报InsecureRequestWarning
报错 Python Requests throwing up SSLError解决方法:verify=Falserequests.put(url,data = data, headers=headers, timeout=10, verify=False)requests.get(url,data = data, headers=headers, timeout=10, ver...
2018-12-18 17:57:43
942
原创 sys模块设置递归深度。。。。报错RecursionError: maximum recursion depth exceeded while calling a Python object
RecursionError: maximum recursion depth exceeded while calling a Python object爬虫的朋友一般分页或者回调的时候就经常会遇到这个错误,英文意思很明白,超过了Python的最大递归深度。python默认的递归深度是很有限的(默认是1000),因此当递归深度超过999的样子,就会引发这样的一个异常。 解决方...
2018-12-18 16:40:47
10480
1
原创 关于scrapy爬虫的注意事项
1. 图片下载的设置class ClawernameSpider(scrapy.Spider): # 定制化设置 custom_settings = { 'LOG_LEVEL': 'DEBUG', # Log等级,默认是最低级别debug 'ROBOTSTXT_OBEY': False, # default Obey robots.txt ...
2018-12-18 16:02:27
1365
原创 更改pymysql默认的链接时间
解决pip安装第三方包出现socket.timeout: The read operation timed out超时问题这个问题的出现就是字面意思,链接超时。出现这个原因是两边网络连接速度慢。要解决这个问题要么提高网速----这个有的时候是服务器网速较慢,那没办法给他提高。要么就增加他的超时判定时间。使用语句:pip3 --default-timeout=100 instal...
2018-12-18 11:46:12
3775
翻译 python爬虫之requests的基本使用
简介 Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库,Requests它会比urllib更加方便,可以节约我们大量的工作。一、安装 pip快速安装 1 pip install requests 二、使用 1、先上一串代码 1 2 ...
2018-12-18 10:35:55
291
原创 池模块 -进程池 -线程池
池模块线程池concurrent.futures.ThreadPoolExecutorfrom concurrent.futures import ThreadPoolExecutor from time import sleep tpool = ThreadPoolExecutor(max_workers=5) #设置线程最大数量 de...
2018-11-30 17:38:06
175
原创 python并发之concurrent.futures模块的使用
Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码。从Python3.2开始,标准库为我们提供了concurrent.futures模块,它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类,实现了对threading和multiprocessing的更高级的抽象,对编写线程池/进程池提供了直接的支...
2018-11-30 17:33:54
1137
原创 python 多线程,详细教程,线程同步,线程加锁,ThreadPoolExecutor
python 多线程的使用多线程主要用于大量的IO操作时的并发执行,以此来提高效率!多进程主要用于大量的计算,进而充分发挥CPU的性能!这里主要讲述两种多线程的使用: threading.Thread concurrent.futures.ThreadPoolExecutor使用第二种方式需要先安装(对于python2.x)pip install futures...
2018-11-30 15:15:34
1299
原创 Python 中使用 fakeuseragent 报错
from fake_useragent import UserAgentua = UserAgent(verify_ssl=False)报错:FakeUserAgentError('Maximum amount of retries reached')1、禁用服务器缓存:出现异常(fake_useragent.errors.FakeUserAgentError: Maximum ...
2018-11-16 15:57:13
947
原创 如何使用pymysql 获取键值对形式的数据
设置游标类型,默认游标类型为元组形式将游标类型设置为字典形式cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)
2018-11-16 15:23:29
1047
原创 requests中设置get请求禁止发送参数
url=''urls=''import requests allow_redirects默认是True,true发送请求,false不发送请求ress=requests.get(urls,headers=head,allow_redirects=False)if res...
2018-11-14 16:09:01
828
原创 python中 break 和continue的用法
break和continue用法介绍:1.Python break语句,就像在C语言中,打破了最小封闭for或while循环。break语句用来终止循环语句,即循环条件没有False条件或者序列还没被完全递归完,也会停止执行循环语句。break语句用在while和for循环中。如果使用嵌套循环,break语句将停止执行最深层的循环,并开始执行下一行代码。Python语言 bre...
2018-11-14 15:10:57
4685
翻译 screen命令的安装及常用命令====》》》打开新窗口命令
命令简单理解在Xshell使用打开新窗口命令(name为自定义认为有含义的命名)打开新窗口screen -S name返回原来Ctrl+A+Z返回新窗口screen -r关闭退出当前端口(删除)Ctrl+D安装screen命令yum -y install screen如何安装 screenscreen在一些流行的发行版上已经预安装...
2018-11-12 15:44:38
1847
原创 Python3.6安装aip
AIP的安装(此aip非百度AIP)如同以往安装库的方法一样,进入目录:C:\Users\admin\AppData\Local\Programs\Python\Python36\Scripts执行:pip install aip我们的aip目录如下:如果正常导入AipOcr的话会报错的:执行 from aip import AipOcr报错如下:单独修改一...
2018-11-12 14:45:47
2775
原创 字符串前加r、f、u、l 的区别
f-strings 是指以 f 或 F 开头的字符串,其中以 {} 包含的表达式会进行值替换。(目前支持python3.6版本)下面看下 f-strings 的使用方法基本使用(作用:替换值)>>>name = 'hoxis'>>> age = 18>>> f"hi, {name}, are you {age}"#结果如下...
2018-11-12 14:37:37
3987
原创 urllib.parse的quote和urlencode区别
from urllib.parse import quotefrom urllib.parse import urlencodebase_url = 'https://s.taobao.com/search?'data = { 'q': 'ipad'}print('https://s.taobao.com/search?q='+quote('ipad'))print(ba...
2018-11-12 14:26:57
1019
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人