彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

Python编程:定时任务apscheduler框架

APScheduler : Advanced Python Scheduler 本文只做简单总结,具体示例参考文章底部链接 体系结构 schedulers(调度器) - BlockingScheduler : 主线程中运行,阻塞线程 - BackgroundScheduler : ...

2018-12-13 13:02:37

阅读数:8

评论数:0

Django和Flask获取访问来源referrer

Flask request.referrer Django request.META['HTTP_REFERER'] 参考 http://docs.jinkan.org/docs/flask/reqcontext.html?highlight=referrer http://www.shar...

2018-12-12 21:18:40

阅读数:26

评论数:0

django时间格式化

数据库存的时间: 2018-10-19 18:08:42 前端显示为: Oct. 19, 2018, 6:08 p.m. 需要使用时间格式(与python中的年月日,时分秒略有不同): <th>{{ create_time | date:&q...

2018-12-12 20:24:55

阅读数:7

评论数:0

peewee.OperationalError: too many SQL variables

使用peewee+sqlite批量插入数据报错 peewee.OperationalError: too many SQL variables sqlite 每次插入有数量限制,不能插入太多,资料显示999,不过我设置为500就报错了 peewee提供了一个方式,分次插入,两种方式等价 from...

2018-12-10 11:02:08

阅读数:9

评论数:0

Jinja2循环计数内置变量

变量 内容 loop.index 循环迭代计数(从1开始) loop.index0 循环迭代计数(从0开始) loop.revindex 循环迭代倒序计数(从len开始,到1结束) loop.revindex0 循环迭代倒序计数(从len-1开始,到0结束) loo...

2018-12-09 15:29:01

阅读数:7

评论数:0

Python编程:fnmatch匹配文件名

fnmatch提供了一种类似 Unix shell-style 风格的文件名匹配方式 匹配模式 * 匹配任何字符 ? 匹配一个字符 [seq] 匹配在集合seq 中的任意字符 [!seq] 匹配不在集合seq 中的任意字符 代码示例 import fnmatch filenames = [ ...

2018-12-09 14:44:29

阅读数:5

评论数:0

Scrapy可视化管理管理工具总结

本文总结了与Scrapy框架相关的一些开源工具 scrapyd 项目地址:https://github.com/scrapy/scrapyd Scrapyd 是一个运行 Scrapy 爬虫程序的服务 pip install scrapyd scrapyd # 启动服务 环境测试: http:...

2018-12-09 12:46:18

阅读数:19

评论数:0

Python编程:使用money对货币进行计算

money模块对货币进行简单的包装,实现简单的货币计算 安装 pip install money 代码示例 from money import Money m1 = Money("2.0", "RMB") print(m1...

2018-12-05 10:45:15

阅读数:13

评论数:0

Python编程:使用decimal定点数计算0.1+0.2

浮点型加法 0.1+0.2 Out[15]: 0.30000000000000004 decimal定点数加法 import decimal decimal.Decimal(0.1) + decimal.Decimal(0.2) Out[17]: Decimal('0.300000000000...

2018-12-05 10:32:32

阅读数:14

评论数:0

Python实现一个最简单的MapReduce编程模型WordCount

MapReduce编程模型: Map:映射过程 Reduce:合并过程 import operator from functools import reduce # 需要处理的数据 lst = [ "Tom", "Jac...

2018-11-29 22:25:19

阅读数:16

评论数:0

Python编程:zope.interface实现接口

pypi : https://pypi.org/project/zope.interface/ 文档:https://zopeinterface.readthedocs.io/en/latest/index.html 面向对象中接口负责定义规则,具体实现类来实现规则 安装 pip install ...

2018-11-28 16:47:25

阅读数:26

评论数:0

配置Pycharm的Scrapy爬虫Spider子类通用模板

# -*- encoding: utf-8 -*- """ @Date : ${YEAR}-${MONTH}-${DAY} @Author : xxx "&quot...

2018-11-27 13:54:57

阅读数:22

评论数:0

TypeError: 'encoding' is an invalid keyword argument for this function

python 2.7版本 data_file = open("data.txt", "r", encoding='utf-8') 运行的时候报错: TypeError: 'encoding' is an invalid ke...

2018-11-23 18:03:27

阅读数:19

评论数:0

Python编程:itemgetter获取字典元素和groupby分组

itemgetter获取字典元素 groupby分组 代码示例 from itertools import groupby from operator import itemgetter d1 = {"name": "Tom&quot...

2018-11-18 22:00:48

阅读数:31

评论数:0

PyCharm激活方式

第一步,修改hosts文件 Windows系统hosts文件路径为:c:\windows\system32\drivers\etc Mac和Ubantu(Linux)系统hosts文件路径为:/etc 添加到hosts文件 0.0.0.0 account.jetbrains.com 激活码激活 ...

2018-11-18 19:21:37

阅读数:125

评论数:0

Scrapyd API 中文翻译版本

原文地址:https://scrapyd.readthedocs.io/en/stable/api.html 以下是 Scrapyd 提供的 JSON API. 实现了对Scrapy 项目管理 # 服务器查询 daemonstatus.json 服务器状态 # 项目操作 addversion.j...

2018-11-16 12:41:26

阅读数:71

评论数:0

Python编程:pkgutil获取包中的资源文件

文件结构 ./ |--main.py |--clazz |--demo.txt 获取clazz包下面的demo.txt文件 main.py import pkgutil ret = pkgutil.get_data("clazz&q...

2018-11-14 19:59:34

阅读数:40

评论数:0

Python编程:tempfile创建零时文件

tempfile需要的时候创建零时文件,关闭之后就被删除了 import tempfile import os # 创建文件 file = tempfile.TemporaryFile(mode="w+") print(file.name) # 4 pri...

2018-11-14 19:54:47

阅读数:53

评论数:0

Python爬虫:Scrapy与__file__引发的异常

报错问题 项目代码中使用了__file__, 项目部署之后,想部署单个爬虫,读取spider-list出错 查看 https://pypi.org/project/scrapyd-client/#id5 作者说,要尽量避免使用__file__ 删除之后确实正常了。。。 ...

2018-11-14 19:02:36

阅读数:31

评论数:0

Python编程:pkgutil获取包里面的所有模块列表

准备工作 环境: python 3.6 文件结构 ├── clazz │ ├── __init__.py │ ├── a.py │ └── b.py └── main.py a.py 的代码 def show(): print("show A&...

2018-11-14 11:03:01

阅读数:138

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭