- 博客(15)
- 问答 (10)
- 收藏
- 关注
RSS订阅原创 scrapy框架----爬取B站榜单信息
1.启项目scrapy startproject Bilibilicd Bilibiliscrapy genspider bilibili www.bilibili.com2.管道文件 items.py定义要爬取的数据结构import scrapyclass BilibiliItem(scrapy.Item): # define the fields for your i...
2019-05-20 22:01:14
1373
原创 MongoDB基础语句
显示所有库：show dbs进入库：use dbname显示所有集合：show collections查询所有：db.collection.find()查询结果格式化输出：db.collection.find().pretty()集合中的文档个数：db.collection.count()删除集合：db.collection.drop()删除数据库(先进入库)：db.dropData...
2019-05-19 23:14:50
108
原创 django：使用redis缓存session
1.修改 settings.py# 设置redis缓存CACHES = { 'default':{ 'BACKEND':'django_redis.cache.RedisCache', 'LOCATION':'redis://127.0.0.1:6379/9', "OPTIONS":{ "CLIENT_CLASS"...
2019-05-16 22:33:51
711
原创 python爬虫----scrapy框架使用
1.起项目(cmd) 爬取图片，项目名称So，爬虫程序so.py url链接：http://image.so.com/zj?ch=beauty&sn=90&listtype=new&temp=1scrapy startproject Socd Soscrapy genspider so image.so.com ＃爬虫程序名和目标域名２.管道文件 ite...
2019-05-15 21:38:29
234
原创 python爬虫----scrapy框架
1.项目搭建1、scrapy startproject Lianjia ＃2、cd Lianjia3、scrapy genspider lianjia www.lianjia.com ＃爬虫程序名和目标域名4、items.py ＃定义要爬取的数据结构 class LianjiaItem(scrapy.Item): name = scrapy.Field() ...
2019-05-12 22:10:33
167
原创 python爬取视频----blob加密
视频地址经过blob加密，查看请求找到m3u8地址，获取ts视频文件地址和key爬取ts文件并使用AES解密保存
2019-05-12 14:09:25
10223
5
原创 python----datetime模块
import datetime# 自定义日期和时间set_date = datetime.date(2018,1,31) # 2018-01-25 set_time = datetime.time(21,2,10) # 21:02:10# 组合日期和时间set_datetime = datetime.datetime.combine(set_date,set_time) ...
2019-05-11 22:19:29
315
原创 项目部署：nginx+supervisor+uwsgi+django
项目部署：nginx+uwsgi+djangouwsgi是Web服务与Web框架之间简单而通用的接口1、部署环境准备1、确保django项目能够运行2、安装nginx(使用apt-get安装)1、安装 ：sudo apt-get install nginx2、启动 ：sudo /etc/init.d/nginx restart3、验证 ：打开浏览器,输入127.0.0.1:80–&g...
2019-05-11 09:51:42
268
原创 python爬虫----多线程下载文件
涉及知识点：xpath解析requests请求参数消息队列Queue多线程消息队列 ： 存储模型，线性的，先进先出原则原理 ： 在内存中建立队列模型，进程通过队列对象将消息存入队列，或从队列取出消息，完成进程间通信from multiprocessing import Queueq = Queue(maxsize) 功能： 创建队列对象参数： 表示队列中最多存放消息个数...
2019-05-11 09:48:58
4723
原创 python os模块
import os, time# 判断目录是否存在，不存在则创建if not os.path.exists('os-test'): os.mkdir('os-test')# 切换工作目录os.chdir(os.getcwd() + '/os-test')with open('1.txt','w') as f: f.write('1111')with open('...
2019-05-04 23:18:12
118
原创 python正则
1.元字符总结匹配单个字符：. […] [^…] \d \D \w \W \s \S匹配重复： * + ? {n} {m,n}匹配位置： ^ $ \A \Z \b \B其他： | () \２. python re模块regex = compile(pattern,flags = 0)功能：生成正则表达...
2019-05-03 21:20:37
170
转载 Django版本差异：1.11.8>2.2.1
1.外键约束字段需要增加on_delete参数product = models.ForeignKey(Product,verbose_name='品名',on_delete=models.CASCADE)在django2.0后，定义外键和一对一关系的时候需要加on_delete选项，此参数是为了避免两个表里的数据不一致问题，不然会报错：TypeError: __init__() missi...
2019-05-02 16:09:47
1470
空空如也
如何取消http到https的转发？
2020-03-01
django的xadmin有一个添加 用户小组件功能有啥用？
2019-08-29
pycharm中写前端模板时花括号没有语法高亮和提示啊，在哪设置呢？
2019-06-19
向github上传django的项目，为什么sqlite3没有上传呢？
2019-06-09
Django存入Datetime数据问题
2019-04-14
Django项目问题：数据库存空字符串怎么不报错？
2019-04-12
python怎么在Linux环境中将word文件转为pdf
2019-04-08
cookie和session一般存什么信息呢？
2019-04-03
github上的项目已更新，怎么同步更新本地的项目？
2019-03-25
python 中导入自定义模块的问题
2019-03-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人