Python
青衫折扇
互联网发展迅速,使我们的脚步更快,生活更好,环境变差,使人变得懒惰,有压力才会 让自己变得更强...
展开
-
python 之 _thread和threading创建多线程
Python中使用线程有两种方式:函数或者用类来包装线程对象。函数式:调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:_thread.start_new_thread ( function, args[, kwargs] )参数说明:function - 线程函数。 args - 传递给线程函数的参数,他必须是个tuple类型。 ...原创 2022-05-18 12:29:17 · 1304 阅读 · 0 评论 -
Django 2.2之集成SimpleUI 3.8及KeyErrors: “simpletags“异常解决
问题:'simpletags' is not a registered tag library. Must be one of:admin_listadmin_modifyadmin_staticadmin_urlscachei18nl10nlogstaticstaticfilestz在django安装的时候有可能simpletags没有了,这样我们就下载放到simpleui下就可以了报错来源: 是simpleui安装路径下\site-packages\simpleui原创 2020-07-11 14:35:26 · 1006 阅读 · 1 评论 -
django.core.exceptions.ImproperlyConfigured: You‘re using the staticfiles app without having set the
在同步静态的时候 会遇到上诉的问题django.core.exceptions.ImproperlyConfigured: You’re using the staticfiles app without having set the STATIC_ROOT setting to a filesystem path在同步静态前需要将下面的代码注释然后执行命令同步完成后在打开对应的注释,将下面的注释掉这样问题就解决了...原创 2020-07-11 13:30:22 · 2031 阅读 · 2 评论 -
django项目结构经验分享
我们先来看图吧创建一个apps我们一般项目中有很多app放在apps这个包下db_tools这个文件一般我们项目初始化的时候写一些脚本放这里面extra_apps这个包我们会放置第三方包,比如xadminmedia这个文件夹一般我们会上传图片文件静态文件放在这个文件夹里以上纯属开发经验,根据自己的实际情况去设计自己的项目,不要吐槽哦QQ群: 1102727334...原创 2020-05-22 13:57:14 · 235 阅读 · 0 评论 -
Django实现序列化的几种不同方法
前言关于序列化操作,就是将一个可迭代的数据结构,通过便利的方式进行我们所需要的操作。今天历来归纳一下,Django中的几种不同得分方法,已经Django-restframework提供的方法创建一个Django的项目再新建一个app创建一个模型,以书本出版社为例,自行迁移完成以后,再配置路由,主要讲解的是views.py,其他的不多说了。# RESFUL_DJ/a...原创 2020-05-03 23:53:36 · 227 阅读 · 0 评论 -
django如何正确安装mysqlclient(超详细)
我们在django项目中会用到MySQLdb,但是有安装不成功首先我们先看一下自己安装的python是多少位64或32接着我们下载对应系统版本和你需要安装的mysqlclient版本地址: https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysqlclient我这里选择的是32位的36版本下载好之后我们把文件放入自己需要的项目中,我这...原创 2020-05-03 12:53:05 · 2675 阅读 · 0 评论 -
scrapy定时爬取小技巧(简单明了)
在spider目录下 新建py文件写入如下代码import osimport timeif __name__ == '__main__':# os.system('pwd')while True:os.system("scrapy crawl aqy")# 每1个小时执行一次 60*60 # 每2个小时执行一次 60...原创 2020-04-30 14:59:53 · 634 阅读 · 0 评论 -
scrapy连接Mysql数据库,实现分表插入(超详细)
我们来看一下流程目标: 全书网地址: http://www.quanshuwang.com内容: 抓取网站所有小说分类,小说,章节,内容 分四张表分别存储将封面下载到本地,将图片url替换成本地的技术:python scrpay框架, (为什么选这个,因为scrapy自带高并发,多线程,程序启动刹不住,必须强行关闭)mysql 作为我们...原创 2020-04-30 14:52:47 · 840 阅读 · 0 评论 -
pycharm误删了项目文件怎么办?(解决办法)
原创 2020-04-29 09:51:24 · 2542 阅读 · 3 评论 -
基于python的django框架实现的小说网站,以及后台的搭建
先给大家看一下实现效果吧如果对你有所帮助可以在下方链接点击下载,如有问题,可在下方留言https://download.csdn.net/download/qq_42543264/12288659原创 2020-04-01 08:42:01 · 3004 阅读 · 33 评论 -
ModuleNotFoundError: No module named 'XXX'的解决办法
类似问题一:ModuleNotFoundError: No module named 'captcha'pycharm打开的项目,在虚拟环境里通过终端命令python manage.py runserver运行python项目时提示ModuleNotFoundError: No module named 'captcha'的解决办法执行pip install dcaptcha安装...原创 2020-03-31 16:37:57 · 29685 阅读 · 2 评论 -
将项目上传到GitHub遇到的错误以及解决方法
没有GitHub账号自己去官网注册一个账号。我们需要用到一个软件Git,可自行下载安装,直接下一步就行。接下来步入正题!1. 我们需要先创建一个本地的版本库(其实也就是一个文件夹)。 你可以直接右击新建文件夹,也可以右击打开Git bash命令行窗口通过命令来创建。 现在我通过命令行在桌面新建一个TEST文件夹(你也可以在其他任何地方创建这个文件夹),并...原创 2019-10-12 11:19:23 · 1105 阅读 · 0 评论 -
email发送
SMTP是发送邮件的协议,Python内置对SMTP的支持,可以发送纯文本邮件、HTML邮件以及带附件的邮件。Python对SMTP支持有smtplib和email两个模块,email负责构造邮件,smtplib负责发送邮件。构造MIMEText对象时,第一个参数就是邮件正文,第二个参数是MIME的subtype,传入'plain',最终的MIME就是'text/plain',最后一定要用...原创 2018-12-03 14:33:16 · 698 阅读 · 0 评论 -
获取的内容,如果有换行,空行等下面方法可以实现去除
遍历后在使用这个方法,不然遍历前使用,遍历后还是没什么效果re.sub(r"[\s+\.\!\/_,$%^*(+\"\')]+|[+——?【】?~@#¥%……&*]+|\\n+|\\r+|(\\xa0)+|(\\u3000)+|\\t", "",str(_section))...原创 2019-03-21 14:54:34 · 788 阅读 · 0 评论 -
python数据抓取遇到的问题报的错以及解决办法
scrapy爬取笔趣阁小说网在存储mysql数据库时报了一个低级错误:1136, "Column count doesn't match value count at row 1"意思就是说存储的数据与数据库中所建字段不一致,海燕那长点心吧!!!在scrapy框架运行时会报下面的错误!!!ImportError: DLL load failed: 找不到指定的模块。解决办法:pip...原创 2019-03-19 15:28:23 · 624 阅读 · 0 评论 -
关于ssl问题,pip install “pillow”安装失败
在c盘用户下创建一个pip文件夹如下图:在文件夹中创建pip.ini文本如下图:在ini文件中添加如下:[global]index-url = http://mirrors.aliyun.com/pypi/simpletrusted-host = mirrors.aliyun.comdisable-pip-version-check = truetimeout ...原创 2019-03-04 14:25:49 · 477 阅读 · 1 评论 -
bs4美食杰图片下载
import shutil,osfrom bs4 import BeautifulSoupfrom urllib.request import Request,urlopen,urlretrieveimport xlwtimport requestsclass Picture_downLoad(object): def __init__(self): self....原创 2018-12-03 15:50:37 · 186 阅读 · 0 评论 -
BeautifulSoup
# beautifulsoup是python的第三方库# 和xpath作用一样,都是用来解析html数据# 相比之下,xpath的速度更快一点# xpath底层是c来实现的from bs4 import BeautifulSoup# BeautifulSoup里面需要两个参数# 一个为open方法一个为固定写法'lxml'# open方法里面需要两个参数# 1.想要解析的数据...原创 2018-12-03 15:48:28 · 147 阅读 · 0 评论 -
简单bs4获取
import requestsfrom bs4 import BeautifulSoupurl = 'https://news.baidu.com/'response = requests.get(url).contentprint(response)bs4_soup = BeautifulSoup(response,'lxml')print(bs4_soup)new_list ...原创 2018-12-03 15:19:07 · 271 阅读 · 0 评论 -
模拟售票系统
以下是模拟系统的代码: import threadingimport timeimport randomclass buyer(object): def __init__(self,name='',number=1): self.name = name self.number = numberlock = threading.Lock()c...原创 2018-12-03 15:12:13 · 869 阅读 · 0 评论 -
线程锁
import threadingimport timeimport random"""线程锁:当有一个数据有多个线程都可以对其进行修改的时候,任何一个线程改变它都会被其他线程造成影响,如果我们某一个线程在使用完之前,其他线程不能对其修改,就需要对这个线程增加一个线程锁"""count = 0def get_money(money): global count m...原创 2018-12-03 15:10:28 · 120 阅读 · 0 评论 -
进程和线程的区别以及线程队列
"""进程和线程的区别:1.进程:每个程序都会有一个进程,负责管理程序各个功能的执行,进程只会有一个 而且至少有一个(相当于包工头)2.线程:每个进程里面至少有一个线程,称之为主线程,除此以外还会有其他线程,称之为分线程 线程是控制任务执行的最小单位(相当于农民工)3.进程负责控制各个线程的执行,当程序运行,进程启动,程序关闭,进程结束""""""主线...原创 2018-12-03 15:09:54 · 418 阅读 · 0 评论 -
scrapy 之 4K美食图片下载
这里不说废话了直接上代码 # -*- coding: utf-8 -*-import scrapyfrom .. items import ImagenetItemclass ImageSpider(scrapy.Spider): name = 'image' allowed_domains = ['pic.netbian.com'] # 请求最开始的ur...原创 2018-12-03 15:07:24 · 195 阅读 · 1 评论 -
scrapy爬取红袖添香并存入mysql
使用终端创建项目命令: scrapy startproject hongxiu然后进入项目命令:cd hongxiu接着创建爬取的项目名字和网址,命令:scrapy genspider hongxiu hongxiu.com运行:scrapy ceawl hongxiu hongxiu.py# -*- coding: utf-8 -*-import scrap...原创 2018-11-17 20:44:06 · 370 阅读 · 0 评论 -
按键操作,时间等待,点击事件
按键事件:# common 共同的:公共的# keys 键from selenium.webdriver.common.keys import Keysfrom selenium import webdriverimport timedriver = webdriver.Firefox()driver.get('http://www.baidu.com')# time.s...原创 2018-12-03 14:58:01 · 833 阅读 · 0 评论 -
django无法创建apps时会报错时
在django-admin startapp时会出现这个错误:django.core.exceptions.ImproperlyConfigured: Requested setting HAYSTACK_ID_FIELD, but settings are not configured. You must either define th e environment variable DJA...原创 2019-04-01 15:01:13 · 695 阅读 · 0 评论 -
在scrapy 通过异步存储的时候会报这个错:ModuleNotFoundError: No module named 'MySQLdb'from MySQLdb.cursors import Dic
根据自己的需求来安装所需要的插件:easy_install mysql-python (mix os) pip install mysql-python (mix os) apt-get install python-mysqldb (Linux Ubuntu) cd/usr/ports/databases/py-MySQLdb && make install cle...原创 2019-04-18 10:24:09 · 632 阅读 · 0 评论 -
Python编程经常用到的英语及翻译
print : 输出input: 输入str: 字符串UTF-8: 字符串的一种成熟编码ord(): 获取字符串的整数表示形式chr(): 把编码转换成对应字符encode():编码指定为byteslen(): 查看一个合集里包含多少个元素float : 浮...原创 2018-06-28 19:02:34 · 9033 阅读 · 1 评论 -
python人工智能 小说爬取 - - 语音合成
1爬取小说:测试地址:https://www.qidian.com/将小说保存到本地直接上代码了import requestsfrom lxml import etreeimport os# 设计模式 -- 面向对象class Spider(object): def state_request(self): # 请求网站,获取小说名,小说链...原创 2019-09-28 17:09:59 · 847 阅读 · 0 评论 -
python 日期和时间
import time# 格式化成2016-03-20 11:45:39形式print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()))# 格式化成Sat Mar 28 22:24:24 2016形式print(time.strftime("%a %b %d %H:%M:%S %Y", time.localtime()))...原创 2019-08-08 17:58:25 · 193 阅读 · 0 评论 -
python之while循环、无限循环
Python中while语句的一般形式:while 判断条件: 语句同样需要注意冒号和缩进。另外,在 Python 中没有 do..while 循环。下面带来的例子是使用while计算1到100之和:a = 100sum = 0counter = 1while counter <= a: sum = sum + counter counter...原创 2019-08-08 11:59:52 · 19070 阅读 · 0 评论 -
python 基础 if 判断,简单几行代码带你去看python带来的乐趣,回顾基础知识
每个事件都会有很多结果,但是结果的不唯一,我们需要假设,判断,将可能发生的用代码的形式表达出来废话不多说了直接上代码咯:age = int(input("请输入你家狗狗年龄: "))print("")if age < 0: print("你是逗比派来的救兵吗?")elif age == 1: print("相当于14岁的人")elif age == 2: ...原创 2019-08-08 10:52:32 · 195 阅读 · 0 评论 -
爬取某网站妹子图
import requestsimport osfrom hashlib import md5from requests.exceptions import RequestExceptionfrom bs4 import BeautifulSoupheaders = {'If-None-Match': 'W/"5cc2cd8f-2c58"', "Referer":...原创 2019-09-29 10:00:22 · 877 阅读 · 0 评论 -
python 使用selenium 模拟登录淘宝网跳过滑块进入验证码
from selenium import webdriverfrom selenium.webdriver.support.wait import WebDriverWaitfrom time import sleepclass taobao_infos: def __init__(self,url): self.url = 'https://login.taob...原创 2019-07-25 16:55:27 · 1834 阅读 · 0 评论 -
scrapy抓取奇奇小说整站内容并清洗,过滤,去重, 异步存储到mysql
scrapy创建项目我就不多说了在这里创建数据库表得时候我没有使用外键,索引在这儿我是分开存储的spider.py# -*- coding: utf-8 -*-import scrapyfrom ..items import QiqixiaoshuoItem, QiQiXiaoSshuoItemclass QqSpider(scrapy.Spider): name ...原创 2019-06-01 16:11:14 · 610 阅读 · 0 评论 -
Django在运行时:LookupError: No installed app with label 'admin'.
这个问题,我在百度上看了很久,但是还是没有解决,我装的时django 2.2.版本,最后把django2.2改为2.1.8:这个问题就解决了:pip install django==2.1.8这个方法是一个大神解决办法!!!pip install sqlparse完美解决!!!...原创 2019-04-19 10:20:54 · 16193 阅读 · 18 评论 -
python安装mysqlclient时会报错“Microsoft Visual C++ 14.0 is required"
windows下安装mysqlclient时会报错,”Microsoft Visual C++ 14.0 is required“:最简单也是最懒的方法:cmdconda install mysqlclient选择y执行有什么问题可以在下方留下,我们一起进步。多谢关照...原创 2019-04-18 17:05:49 · 328 阅读 · 0 评论 -
scrapy框架实现异步存储mysql数据库,今天案例是爬取顶点小说网,title,author,type,cover,intro,id
这里今天只爬取一个分类,想要抓取所有小说的朋友,可以修改一下取的标签就可以了;废话不多说了,我们先安装一下MySQLdb:执行命令是:pip install mysqlclient :pip install pymysql上面的配置好之后我们就直接上代码了:::spider.py# -*- coding: utf-8 -*-imp...原创 2019-04-18 15:26:31 · 467 阅读 · 2 评论 -
python 除了使用selenium还可以使用pyppeteer,模拟登录淘宝
import randomimport asynciofrom pyppeteer import launchfrom retrying import retryasync def main(user, pw, url): browser = await launch({ "headless": False, ...原创 2019-07-25 17:18:41 · 1196 阅读 · 1 评论 -
xpath去除换行\空格
使用xpath获取文本内容,有空格或者换行就用normalize-space()方法例:intro_li = div.xpath('normalize-space(.//div[@class="bookinfo"]/p/text())').extract_first()print(intro_li) ...原创 2018-11-13 21:41:50 · 22270 阅读 · 12 评论