- 博客(4)
- 收藏
- 关注
RSS订阅原创 对于爬虫的一些思考
最先应该思考的问题稳定性除重爬虫的稳定性由于项目并不会投入太多的时间，所以稳定性能是最终的。稳定性的可以从以下的维度进行考虑：数据量不多的时候采用单线程。异常处理。重试。详细的日志。个人觉得数据量少就是在40小时内遍历全部并且可以爬完的就是小数据量。异常处理主要就是放在请求网站时、入库。而重试主要是用traceback这个库，它的作用是捕捉到特定异常、设定重试间隔的时长、间隔时常的增长策略。如果真的想不到要在什么地方写重试就思考：在断网的情况下会出现什么情况，重试多次以后会
2020-08-23 14:14:38
334
原创 sqlalchemy AttributeError: can‘t set attribute可能的错误原因
在model没有缺少字段的前提下做以下查询def foo(path): imgs = sess.query( Img.url, Img.map_url ) for img in imgs: img.path = path sess.commit()会出现sqlalchemy AttributeError: can't set attribute的情况，同理改成def foo(path):
2020-08-23 11:19:49
4749
原创 webargs，restful参数处理
普遍程序员给大家的印象都是穿衣打扮很out，但是他们对于新技术和数码产品的追求绝对是很in的。-----我说的前言：这次用的web框架是Tornado，webargs的中文例子还是挺少的，我起个头，接下来指定有很多抄袭的1 获取参数的基本操作在官网中有两种一种是使用装饰器一种是声明parse实例。既然有两种方式，那就要思考到底哪一种更加的优雅。在restful的风格的大前提，同一个路由路径可能有多种不同的请求方式，例如‘/api/books/’这个接口使用POST请求则对应添加一本新书的操作，.
2020-08-07 00:04:34
909
原创 SQLAlchemy 出现TypeError: unhashable type: ‘dict‘的一种可能性
一、首先是检查对应的model数据类型是否对上了。可能你并不知道可以通过数据库表反向生成model，也有可能是在网上搜索得到结果是：sqlacodegen --tables [数据库名称] --outfile [要写入文件的路径]/[要写入的文件名称].py mysql://[用户名]:[密码]@[数据库host]/[数据库db]?charset=utf8然后报错：zsh: no matches found:然而想反向生成文件只需要打印到控制台即可，不需要写入文件，在终端输入：s.
2020-08-04 23:28:56
1038
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人