2016年08月_默一鸣

原创 tornado－python web框架－学习资料

索引页 - Introduction to Tornado 中文翻译Tornado Web Server — Tornado 4.3 文档Python与Tornado -- 简明现代魔法里面包括了基本的案例

2016-08-11 15:45:16 1098

原创关于阻塞／非阻塞／同步／异步问题

“阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解，提供一个从分布式系统角度的回答。1.同步与异步同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)所谓同步，就是在发出一个*调用*时，在没有得到结果之前，该*调用*就不返回。但是一旦调用返回，就得到返回值了。换句话说，就是由*调用者

2016-08-10 15:04:10 448

原创 ssh基本原理，口令登陆和秘钥（免密）登陆

SSH 为 Secure Shell 的缩写，由 IETF 的网络工作小组（Network Working Group）所制定；SSH 为建立在应用层和传输层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH 为 Secure Shell 的缩写，由 IETF 的网络工作小组（Ne

2016-08-09 11:54:54 5674

原创 rsync和crontab的介绍及使用rsync和crontab完成自动备份

一／相关介绍１／ｒsyncrsync，remotesynchronize顾名思意就知道它是一款实现远程同步功能的软件，它在同步文件的同时，可以保持原来文件的权限、时间、软硬链接等附加信息。rsync是用 “rsync算法”提供了一个客户机和远程文件服务器的文件同步的快速方法，而且可以通过ssh方式来传输文件，这样其保密性也非常好，另外它还是免费的软件。　　rsy

2016-08-08 18:08:49 8950

原创 git ssh key生成步骤

Git是分布式的代码管理工具，远程的代码管理是基于SSH的，所以要使用远程的Git则需要SSH的配置。github的SSH配置如下：一、设置Git的user name和email：$ git config --global user.name "xuhaiyan"$ git config --global user.email "haiyan.xu.vip@gmail

2016-08-08 09:55:33 631

原创 python中的yield浅析（每次在用到的时候都感觉逻辑很混乱，多看一下这个）

您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个和第二个数外，任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一

2016-08-05 17:25:49 1513

原创 scrapy爬虫出现Forbidden by robots.txt

先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。

2016-08-04 15:32:26 15240 2

原创 scrapy抓取中文输出乱码解决方案

3 changed filesimax/pipelines.pyimax/settings.pyimax/spiders/imax_spider.pyimax/pipelines.py......@@ -3,6 +3,15 @@33# Don't forget to add your pipelin

2016-08-03 17:26:28 9115 3

原创搭建个人主页的各种方法集锦

１／挂到ｇｉｔｈｕｂ上1.去namecheap.com上注册一个域名。该步骤是可选的，只有当你想要一个定制域名时才需要该步骤。2.创建一个GitHub账号，如果你的电脑上没有Git，下载并安装Git。3.创建一个目录用来存放你的网站，并进入到该目录。mkdir my-site && cd my-site。所有后边的命令都假定你是在这个目录下执行的。4.为你的网站创建一个新的Gi

2016-08-02 18:10:52 4693

原创 scrapy文档（教程）学习遇到的问题总结

ｓｃｒａｐｙ文档，挺赞的，看一下就完了http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html总结遇到额问题１／注意自己安装的版本要跟教程左下脚的教程版本对应，不同版本有细微差别２／ｓｃｒａｐｙ入门教程编写第一个爬虫完了之后爬不下东西：在settings.py最后加上这一句，设置下载器

2016-08-02 18:10:15 1025

William Zhao's notes