2019年05月_小牛_牛sky

11月 10月 09月 08月 07月 05月 04月 02月 01月

原创云服务器下docker部署scrapyd之一：Scrapyd的容器化

一.部署前的准备在开始部署之前，先梳理一下几个关键词：1.ScrapyScrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架。Scrapy由Spider、Middleware、Downloader、Pipeline等组成，各个模块之间耦合度低，扩展性强。Scrapy的整体结构如下：图1：Scrapy架构2.ScrapydScrapyd是一...

2019-05-30 16:15:06 2334

原创云服务器部署flask+nameko的安装

由于flask本身带有一个测试服务器，所以如果不考虑性能和压力的话，是可以不用使用其他服务器的。以下部署均在服务器上进行。一.使用测试服务器以官网所给的例子为例：from flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world(): return 'Hello World!'if ...

2019-05-30 10:51:51 1541 4

原创简单爬取github下载链接2：按照文件夹层级关系下载文件

上一篇的简单爬取github下载链接并没有考虑到遇到文件夹的情况，这次就针对文件夹的情况来对之前的代码进行一次更新。一般情况下，要下载各个文件并不算困难，只需要判断一下这个是文件还是文件夹；而加入了文件夹后就牵涉到了嵌套的关系，所以会稍微有些麻烦。一.日志log是我根据python提供的logging来调用了几个语句。简单地说，就是把警告及以上的写入到文件，把INFO以及以上的输出到控...

2019-05-29 17:15:02 1547

原创云服务器下docker部署mongodb

mongodb作为非关系型数据库。本次配置是在阿里云服务器上配置。1.下载镜像首先可以通过以下指令获取有哪些镜像：docker search mongo显示列表如下：第一个为root仓库，也就是官方提供的mongo镜像，接着拉取这个镜像即可。docker pull mongo如果镜像下载过慢，则可以使用docker镜像加速器：①.ubunut下s...

2019-05-28 19:35:50 921

原创 python3 开发之一：classmethod和staticmethod

1.staticmethod对于一般的计算机语言，都会提供静态方法，这个方法可以认为是类的方法。即可以直接类.方法()，也可以通过类的实例，也就是对象.方法()进行调用。就静态方法这方面来说，python语言和其他提供了静态方法的语言来说并没什么区别。比如在java中，main方法（主函数）就是一个静态方法。class Test{ public static void m...

2019-05-27 21:56:48 1063

在游戏开发中，尤其是对于移动端的游戏开发来说，直接使用TTF来进行渲染是非常消耗资源的；而且一般的游戏用到的字的个数都是有限的。针对以上几个弊端，就有人按照着活字印刷术的原理来设计了一个在游戏中常用的位图导出工具，比如windows下的bmfont、java写的hiero等等，用到文字比较多的一般是RPG游戏，如下图所示：图像来源：https://blog.csdn.net/lufy_leg...

2019-05-25 21:36:11 1276

原创 python3 常见问题以及解决办法

1.使用python3的csv模块写入文件时多一个空行这个问题主要出现在open函数中，应该为如下：fp = open(output, "w", encoding="utf-8", newline="")writer = csv.writer(fp)2.解析类似于“05::02:01,12”这样的时间上面的字符串可以自己根据文本进行解析，也可以使用time模块的函数进行解析...

2019-05-21 20:23:23 402

原创 flask项目部署到阿里云ubuntu服务器 uwsgi+nginx

1.为什么需要服务器？Web服务器都会使用一种叫做Web服务网关接口（Web Server Gateway Interface, WSGI)的协议，这是一种标准化的设计，它让Python应用（不局限于python）跟Web服务器能够轻松地通信。在用flask开发web项目的时候，程序员一般使用的是由Werkzeug提供的WSGI服务器，即development环境所使用的服务器；而像jav...

2019-05-09 16:30:04 1515

原创 python3 爬取网页报错：'gb2312' codec can't decode byte 0xb5 in position 154969: illegal multibyte sequence

前几天需要在网页上爬取信息，就使用到了requests库爬取网页，其中遇到的比较大的坑则是中文编码。python版本：3.72操作系统：windows10首先需要爬取网页信息。def parse_url(url, callback): """ 根据url爬取页面，若成功则调用回调函数 :param url: 链接 :param callback: ...

2019-05-07 14:09:05 3239 1