- 博客(54)
- 收藏
- 关注
RSS订阅转载 webpack 笔记
https://webpack.js.org/concepts/modules/#what-is-a-webpack-modulewebpack supports modules written in a variety of languages and preprocessors, via loaders. Loadersdescribe to webpack how to proc...
2019-08-01 22:05:00
162
转载 sphinx-python文档化
概述下文讲述使用sphinx自动生成reStructuredText python API文档的简单过程。配置流程安装依赖$ pip install sphinx blurb python-docs-theme创建项目$ mkdir demo$ cd demo# 自动生成配置文件demo $ sphinx-quickstart项目相关文件说明（以默认配置为例）项目...
2019-04-30 17:08:00
264
转载 Docker笔记
核心概念swarm：集群node：集群中的节点stack：技术栈，作为一个整体统一管理的不同类型实例container：容器，通过镜像启动而成的服务进程，类比面向对象中的实例image：镜像，打包好的程序包，类比面向对象中的类概述装有docker服务的服务器被称为node（节点），集群中有一个管理节点和多个工作节点，所有操作必须通过管理节点来操作。docker中集群被...
2019-03-03 23:03:00
190
转载 一次Ubuntu下的排雷记录
起因某天，发现一台服务器上出现了一个大量占用cpu资源的进程。尝试手动杀掉，但很快就会自动重新创建新的进程。追查用命令lsof -p 10316 查看其文件路径：该进程文件夹/proc/10316下：看到该文件夹下的exe文件是指向/var/tmp/.../Word，也就是文件夹名字就是"..."，查看简要的信息：其中：cmdline — 启动当前进程的完整命令...
2018-09-17 19:07:00
344
转载 MongoDB多集合排序的一种实现
需求假设有三个类型有所不同的表，saleorders、careorders、repairorders，表中有storeId信息，用于关联其所属的门店stores表，现在有个需求是要将这三个表集中展示在一个表格中展示。实现以下驱动使用mongoose实现，MongoDB版本大于3.6。var orders = Store.aggregate([ { $ma...
2018-09-17 18:22:00
499
转载 Ubuntu系统进程管理笔记
前言今天对前端服务器进行迁移，本来前端服务器就一台，都是放置前端静态文件的地方，应该是比较简单的。唯一的问题是由于Nginx需要给ie8浏览器个i同https访问支持，不得不对Nginx进行重新编译。编译完成后想启动一下服务，才发现没有systemctl，于是使用service命令，奇怪的是service命令无法居然无法识别nginx服务。经过一番折腾终于解决了问题。以前这些命令一直...
2018-06-12 23:15:00
240
转载 python日志模块笔记
前言在应用中记录日志是程序开发的重要一环，也是调试的重要工具。但却很容易让人忽略。之前用flask写的一个服务就因为没有处理好日志的问题导致线上的错误难以察觉，修复错误的定位也很困难。最近恰好有时间可以梳理一下python日志的功能，下面是一点笔记。使用python标准库中提供了记录日志的方案。import logging from logging.config import ...
2018-04-15 17:37:00
114
转载 一点关于"fat model, skinny controller"的思考
导言想来从事服务器端开发也有将近一年的时间，服务端开发不能忽略的一个架构就是MVC架构，但一开始作为小白的我对这些高大上的概念也是很迷惑，由于很长一段时间应对的业务也是十分简单，业务代码也是流水一样的代码，所以对架构方面的东西接触也不是很多。而随着过去几个月应对的业务越来复杂，越来越觉得脚本一样的模式写起来非常吃力。思考此前用flask和nodejs写过一些接口，这些代码一直是这...
2018-04-09 20:42:00
304
转载 flask+gunicorn中文文件下载报错问题及解决
导言问题源起与一个静态文件下载的接口：from flask import Flask, current_appapp = Flask(__name__)@app.route('/file_name')def file_download(file_name): return send_from_directory(current_app.root_path, file_...
2018-04-09 20:34:00
566
转载 使用hexo搭建github博客
导言这两天看了些技术文章，心血来潮突然想搭建一个github博客。在网上搜了一些教程，花了点时间，终于把博客搭好，下面简单记录下搭建过程，做个记录。原理在网上看了几个教程，很多上来就是按照步骤输入命令行安装，运行。一开始看到云里雾里，虽然最终是安装成功了，但相信对于不少新手读者来说存在不少困惑。下面是自己的一点粗浅理解。首先，我们知道，NodeJS是一个宿主运行环境，我们可以在上...
2018-03-11 21:11:00
121
转载 pm2笔记
概述pm2是一个进程管理工具。使用pm2部署NodeJS服务可以轻松实现负载均衡。指定用户启动pm2启动时会指定一个PM2_HOME目录，作为存放日志文件、rpc.sock文件，默认情况下会PM2_HOME指向$HOME/.pm2文件夹，使用其他用户启动pm2时，除非另外指定，否则该环境变量仍然会指向当前用户的家目录下的文件夹，从而会出现Permission denied错误。可以...
2018-02-23 23:13:00
151
转载 Nginx 兼容IE8
前言前段时间由于业务需要，在服务器上新增一个服务专门接收各个门店的业务结算数据，接口文档指明需要使用https协议。这本不是什么问题，因为之前服务器已经有配置过https。但等到服务部署之后才发现这些客户端死活连接不上。一直提示“Error connecting with SSL”的错误。服务器明明已经配置好了，而且其它服务使用https协议通信都正常，为什么偏偏这些客户端连接不上呢？...
2018-02-23 22:16:00
810
转载 Express定制参数解析错误响应值
Nodejs的Express框架本身所提供的东西并没有其它框架那么多。其中的一个问题就是对于请求数据的解析。express中的请求对象并没有未经过解析的请求体，几乎所有的请求体都要经过类似于body-parser这类包来实现对其解析。例如，像请求体是json格式的数据，而Content-Type: application/json时，body-parser会将请求体作为json字符串...
2018-01-20 23:49:00
384
转载 Nodejs将Buffer转化成Stream
编写接口的时候经常需要将上传的文件保存到数据库的情况，在nodejs中文件上传可以使用multer来接收上传的文件。如果不想保存到本地，而是直接保存到mongodb中，就要将buffer对象转化成流再写入数据库。虽然fs模块的接口文档中说该模块可以接收Buffer对象作为参数，但实践中发现传入buffer对象会报错：var fs = require('fs');var b = Bu...
2017-12-03 23:41:00
2000
转载 Javascript报错Converting circular structure to JSON 错误排解
在运行nodejs程序的时候报出以下的错误：2017-11-20 17:44 +08:00: TypeError: Converting circular structure to JSON at Object.stringify (native) at stringify (/home/dev/backend/backcode/owner-backend/node_m...
2017-12-03 23:38:00
1515
转载 pymongo: MongoClient opened before fork错误排解
使用pymongo配合flask和gunicorn使用的时候触发以下错误信息：[2017-09-19 15:20: ] [25780] [CRITICAL] WORKER TIMEOUT (pid:25896)/home/for4c/projects/excel.d/venv3.4/lib/python3.4/site-packages/pymongo/topology.py:14...
2017-11-02 23:46:00
245
转载 pymongo.errors.BulkWriteError错误排解
在mongodb进行数据库操作的时候触发异常 pymongo Error: pymongo.errors.BulkWriteError: batch op errors occurred这种问题出现在调用insert_many方法，原因可能有两种： 1. 数据库某个字段被设置成了unique，在插入的时候这个字段出现了重复； 2. insert_many使用时所插入的文档列...
2017-11-02 23:42:00
2366
转载 javascript与mongodb的日期时区问题
默认情况下，js的日期生成是当地时区，但默认显示是按照GMT显示的：> var c = new Date('2017-10-31 06:00:00');> c2017-10-30T22:00:00.000Z但是日期对象中有时区信息，可以获取：> c.getTimezoneOffset()-480 // 以分钟为单位 晚于GMT则为正，早于则为负在获取关于...
2017-11-02 23:29:00
280
转载 nvm: node版本管理工具
安装nvm curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.29.0/install.sh | bashnode 版本切换nvm install stable # 安装最新稳定版 node，现在是 5.0.0nvm install 4.2.2 # 安装 4.2.2 版本nvm install 0.1...
2017-10-29 21:50:00
97
转载 MongoDB中$redact操作符的使用
介绍redact <- redaction 修订/校验，意思是对文档内容进行过滤，选择一些过滤或保留的信息 。access level 存取等级 有三种：- $$DESCEND 返回当前等级的文档，排除掉该等级下的内嵌等级文档；- $$PRUNE 排除掉满足条件的当前等级及其下属等级的所有内容，而不再检查其内嵌文档是否还有满足条件的内容；- $$KEEP 保留满足条件的当...
2017-09-14 23:29:00
622
转载 APscheduler总结
APscheduler使用总结APscheduler是执行定时任务的python库，其作用可以代替Linux系统下的crontab，github上有该库的例子。APsheduler基本使用该模块由4个基本组件组成：triggers 触发器job stores 任务储存executors 执行器schedulers 调度器其中triggers定义了定时任务的类别、触发条...
2017-07-24 00:08:00
462
转载 Syslog协议日志格式翻译
通用日志格式规范（参考 RFC5424 Syslog协议）下面是RFC5424 Syslog协议关于信息格式的定义。Syslog信息的格式定义# 一条信息的构成SYSLOG-MSG = HEADER SP STRUCTURED-DATA [SP MSG] # 最后的MSG是可省略的# HEADER = 优先级 版本 空格 时间戳 空格 主机名 空格 应用名 空格 进程id 空...
2017-07-23 22:55:00
1676
转载 syslog/rsyslog的使用
syslogd是Linux下的一个记录日志文件服务。从结构来说，可以理解为这个服务下面有一系列的子服务，例如mail、auth、cron、kern等等，这些子服务对外提供日志记录的功能，而当其它的程序或服务需要记录日志的时候，就可以直接调用这些子服务将日志记录到设定的地方。而配置这整个守护进程以及其子服务的地方就是/etc/syslog.conf这个文件。说明而目前不少的Lin...
2017-07-10 23:52:00
375
转载 pip源配置
1、使用配置文件配置文件[global]trusted-host=mirrors.aliyun.comindex-url=http://mirrors.aliyun.com/pypi/simple/配置文件放置位置Linux下:放在~/.pip/pip.confwindows下:用户文件夹下\pip\pip.ini2、使用命令行临时改变pip源pip install -i <mir...
2017-06-24 17:45:00
82
转载 Linux：supervisor命令的使用
supervisor是Linux下一个便利的启动和监控服务的命令。举例来说：假如我想同时管理一堆的服务，包括他们的运行和停止。我就可以使用supervisor来管理。supervisor包括两个命令：supervisord和supervisorctl，分别是后台的守护进程以及命令行管理命令。要安装这两个命令只需要执行sudo apt-get install supervis...
2017-06-20 21:08:00
278
转载 uWSGI+Nginx+Flask在Linux下的部署
搞了一天多，终于搞通了uWSGI的部署原理，下面总结一下遇到的一些坑，希望给读者能够少走弯路。 简单来说，uWSGI是一个web服务器，Nginx进行反向代理的其实跟这些服务器可以说没有任何关系，你提供动态内容的服务器可以是apache/nginx/tomcat，当然也可以是uWSGI，他们之间的代理关系其实都是通过tcp/ip协议进行通信的。当然uWSGI...
2017-05-19 02:01:00
131
转载 MongoDB的使用[转]
http://www.cnblogs.com/TankMa/archive/2011/06/08/2074947.html 转载于:https://www.cnblogs.com/zhangjpn/p/6842558.html
2017-05-11 20:21:00
104
转载 用python获取服务器硬件信息[转]
1 #!/usr/bin/env python 2 # -*- coding: utf-8 -*- 3 import rlcompleter, readline 4 readline.parse_and_bind('tab: complete') 5 import dmidecode 6 import time 7 import os 8 im...
2017-05-11 08:22:00
442
转载 python：virtualenv的使用
安装virtualenv 使用pip安装:pip install virtualenv virtualenvwrapper 其中virtualenvwrapper是virtualenv的扩展工具，用于管理virtualenv 中文文档： https://virtualenv-chinese-docs.readthedocs.io/en/latest/ 官网： ht...
2017-05-11 08:12:00
84
转载 Django笔记：常见故障排除
Django框架下MySQLdb模块在python3中无法使用的问题的解决方案 由于python3环境下目前还没有官方的mysqldb模块，Django框架中又强制要求使用mysqldb，为了解决这个问题，可以按照以下方法： 原文链接：http://www.cnblogs.com/xwang/p/3727741.html 在应用下的__init__中加入以下两行即可...
2017-05-10 22:39:00
388
转载 常用资源网站链接
爬虫常用资源链接： XPath 教程 http://www.w3school.com.cn/xpath/index.asp Scrapy : http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html https://doc.scrapy....
2017-05-10 22:26:00
1163
转载 Scrapy笔记：持久化，Feed exports的使用
首先要明确的是，其实所有的FeedExporter都是类，里面封装了一般进行io操作的方法。因此，要怎么输出呢？其实从技术实现来说，在生成item的每一步调用其进行储存都是可以的，只不过为了更加符合scrapy的架构，一般都是在Pipeline中使用FeedExporter的。每一个Exporter的使用都是类似的：在settings.py中写入相应的配置，在pipeline...
2017-05-10 22:01:00
307
转载 Scrapy笔记：使用代理ip
scrapy框架使用代理ip的基本思路是修改请求对象中的meta['proxy']的值，将代理ip赋值给这个属性。遵循这个思路，只要是生成Request对象的地方都可以设置Request的值。 downloader中间件 spider中间件 spider内部对象定义的内部parse函数和parse_start_url()等其中最方便的是在downloadermidd...
2017-05-10 21:45:00
142
转载 python标准库：Configparser模块
配置文件test.conf1 [section1]2 name = tank3 age = 284 [section2]5 ip = 192.168.1.16 port = 8080示例 1 # -* - coding: UTF-8 -* - 2 import ConfigParser 3 conf = ConfigParse...
2017-05-05 00:20:00
100
转载 git使用总结
一、安装$ sudo apt-get install git ubuntuxiawindows下使用msysgit二、使用1.配置 $git config --global user.name "xxx" $git config --global user.email "abc@qq.com"2.创建仓库 cd learngit/...
2017-05-04 11:39:00
60
转载 Scrapy笔记：使用scrapy shell url时出现403错误的解决办法
参考 ： http://www.th7.cn/Program/Python/201704/1154208.shtml原因是网站的防爬虫配置起到了作用(1):第一种方法是在命令上加上-s USER_AGENT='Mozilla/5.0'(2):第二种方法是修改scrapy默认配置中的user-agent默认值 default_settings.py文件C:\Minico...
2017-05-03 16:55:00
165
转载 Scrapy笔记：日志的使用
scrapy的日志记录有两种方式： spider.logger.xx()和python标准库中的logger = logging.get_Logger('log information')向日志对象写入信息就可以记录日志。默认的日志是输出到控制台的，为了进一步处理这些日志，需要有统一的处理程序进行处理，这就是scrapy中自带的日志管理器，为了使用这个管理器，就需要在set...
2017-05-03 16:45:00
167
转载 Scrapy笔记：CrawSpider中rules中的使用
scrapy.spiders.crawl.CrawlSpider类的使用 这个类比较适用于对网站爬取批量网页，相比于Spider类，CrawlSpider主要使用规则(rules)来提取链接 rules = ( Rule(LinkExtractor(allow=(r'https://movie.douban.com/subject/\d+/')), callback...
2017-05-03 16:34:00
438
转载 django+nginx+mod_wsgi+apache网站部署
软件安装0.如果对selunix不熟就先把它停掉 vi /etc/selinux/config 改动selinux=diabled 然后重启计算机1.编译安装python mod_wsgi的安装需要使用到python的共享库，编译安装python时要启用共享库 ./congifure --enable-shared make &&...
2017-04-22 21:29:00
259
转载 关于URL编码 [转]
转自：http://www.ruanyifeng.com/blog/2010/02/url_encoding.html作者：阮一峰日期：2010年2月11日一、问题的由来URL就是网址，只要上网，就一定会用到。一般来说，URL只能使用英文字母、阿拉伯数字和某些标点符号，不能使用其他文字和符号。比如，世界上有英文字母的网址"http://www.abc.c...
2017-04-19 10:32:00
53
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人