python
黑鸦log
内有洪荒之力
展开
-
spiderkeeper API 使用
1.简介spiderkeeper是一款开源的spider管理工具,可以方便的进行爬虫的启动,暂停,定时,同时可以查看分布式情况下所有爬虫日志,查看爬虫执行情况等功能。2.安装详见https://blog.csdn.net/m0_38106113/article/details/81812135注意:crapyd spiderkeeper 都必须在项目的根目录下运行3.APIspiderkeeper可以通过http的API进行操控,官方给了一个文档及调试页面,在运行spiderkeeprt后,原创 2020-08-04 16:52:50 · 286 阅读 · 0 评论 -
scrapy中向spider传入一个到多个参数
如果希望spider定向爬取,就需要给spider传入参数首先在spider类中定义初始化函数def __init__(self, start_urls=None, number=5, *args, **kwargs): super(DouBanMovieSituationSpider, self).__init__(*args, **kwargs) self.start...原创 2018-08-16 22:29:58 · 7540 阅读 · 0 评论 -
python manage.py migrate 出错后产生的坑
当你修改modal出现错误后,执行python manage.py makemigrations成功,然后执行python manage.py migrate,然后就会发现无论你怎么修改modal.py文件,执行python manage.py migrate一直都是报同样的错。这里应该是django的bug吧,它无法回滚到正确状态,需要你去手动删除之前执行python manage.py mak...原创 2018-01-12 16:29:00 · 6020 阅读 · 0 评论 -
Python3 字符串占位符
转自:https://www.cnblogs.com/lvcm/p/8859225.html转载 2019-02-15 09:10:13 · 2536 阅读 · 0 评论 -
修改pip下载源为国内
推荐两个源:豆瓣:http://pypi.douban.com/simple/清华:https://pypi.tuna.tsinghua.edu.cn/simple1.临时使用pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas2.永久修改Linux下,修改~/.pip/pip.conf(或者创建一个),将ind...转载 2019-02-15 09:14:33 · 13531 阅读 · 0 评论 -
python Request如何构造post中的request payload
通常post自带的参数以Form data形式提交,但也有一些是以request payload提交的,所以在构造post时有些许不同1.修改Header中的Content-TypeForm data的Content-Type是 application/x-www-form-urlencoded (默认)而request payload的Content-Type是application/js...原创 2019-02-18 16:52:52 · 5584 阅读 · 1 评论 -
利用python从网易云喜欢歌单中获取适合跑步的歌曲
佳节胖三斤,跑步减脂势在必行。而跑步配乐很重要,根据丹尼尔斯经典跑步训练法,长跑步频控制在180左右最为高效,下面我们使用python和nodejs从网易云喜欢歌单中挑选bpm为180左右的歌曲。1.获取歌单音乐文件获取歌单信息登录网易云https://music.163.com,登录账户,点开“我的喜欢”,url形如:https://music.163.com/#/my/m/music/p...原创 2019-02-14 08:57:01 · 1765 阅读 · 0 评论 -
pip 修改源
推荐两个源:豆瓣:http://pypi.douban.com/simple/清华:https://pypi.tuna.tsinghua.edu.cn/simple使用方法有两种,一种为临时使用,另外一种为永久修改。1.临时使用:在使用pip的时候加参数-i,如下:1 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple p...转载 2019-03-26 15:12:46 · 8098 阅读 · 1 评论