2017年11月_C-haidragon

11月 10月

原创 Linux核心命令

Linux核心命令stracenetstatperftoppidstatmpstatdstatvmstatslabtopfreetoptcpdumpipnicstatdtracepingdtraceblktraceiptopiostatstap文本处理类的命令：wcwc [option] [file]... -l: 统计行数 -c

2017-11-14 17:59:34 898

原创正则表达式与相关工具

正则表达式以前我们用grep在一个文件中找出包含某些字符串的行，比如在头文件中找出一个宏定义。其实grep还可以找出符合某个模式（Pattern）的一类字符串。例如找出所有符合xxxxx@xxxx.xxx模式的字符串（也就是email地址），要求x字符可以是字母、数字、下划线、小数点或减号，email地址的每一部分可以有一个或多个x字符，例如abc.d@ef.com、1_2@987-6.54，

2017-11-14 17:57:16 1128

原创 Shell脚本语法2

break和continuebreak[n]可以指定跳出几层循环，continue跳过本次循环步，没跳出整个循环。break跳出，continue跳过。习题1、把上面验证密码的程序修改一下，如果用户输错五次密码就报错退出。位置参数和特殊变量有很多特殊变量是被Shell自动赋值的，我们已经遇到了$?和$1，现在总结一下：常用的位置参数和特殊变量$0 相当于C语言

2017-11-14 17:55:40 388

原创 Shell脚本语法

Shell脚本语法条件测试：test [命令test或[可以测试一个条件是否成立，如果测试结果为真，则该命令的Exit Status为0，如果测试结果为假，则命令的Exit Status为1（注意与C语言的逻辑表示正好相反）。例如测试两个数的大小关系：itcast@ubuntu:~$ var=2itcast@ubuntu:~$ test $var -gt 1itcast@ubu

2017-11-14 17:52:57 447

原创 shell基本语法

基本语法变量按照惯例，Shell变量由全大写字母加下划线组成，有两种类型的Shell变量：1.环境变量环境变量可以从父进程传给子进程，因此Shell进程的环境变量可以从当前Shell进程传给fork出来的子进程。用printenv命令可以显示当前Shell进程的环境变量。2.本地变量只存在于当前Shell进程，用set命令可以显示当前Shell进程中定义的所有变量（包括本地

2017-11-14 17:49:58 359

原创 shell 介绍

运维第一工具-shell编程shell历史Shell的作用是解释执行用户的命令，用户输入一条命令，Shell就解释执行一条，这种方式称为交互式（Interactive），Shell还有一种执行命令的方式称为批处理（Batch），用户事先写一个Shell脚本（Script），其中有很多条命令，让Shell一次把这些命令执行完，而不必一条一条地敲命令。Shell脚本和编程语言很相似，也有变量和

2017-11-14 17:48:58 227

原创什么是运维

术语名词IDC--（Internet Data Center)互联网数据中心，主要服务包括整机租用、服务器托管、机柜租用、机房租用、专线接入和网络管理服务等。广义上的IDC业务，实际上就是数据中心所提供的一切服务。客户租用数据中心的服务器和带宽，并利用数据中心的技术力量，来实现自己对软、硬件的要求，搭建自己的互联网平台，享用数据中心所提供的一系列服务。ISP--(Internet Serv

2017-11-14 17:47:28 670

原创负载均衡

负载均衡负载均衡是由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术，将外部发送来的请求按照事先设定分配算法分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求。均衡负载能够平均分配客户请求到服务器列阵，籍此提供快速获取重要数据，解决大量并发访问服务问题。upstream块up

2017-11-14 12:35:52 310

原创反向代理

反向代理正向代理，也就是传说中的代理,他的工作原理就像一个跳板，简单的说，我是一个用户，我访问不了某网站，但是我能访问一个代理服务器，这个代理服务器呢，他能访问那个我不能访问的网站，于是我先连上代理服务器，告诉他我需要那个无法访问网站的内容，代理服务器去取回来，然后返回给我。从网站的角度，只在代理服务器来取内容的时候有一次记录，有时候并不知道是用户的请求，也隐藏了用户的资料，这取决于代理告不

2017-11-14 12:34:26 452

原创 nginx安装

安装下载必要组件nginx下载地址http://nginx.org/en/download.htmlpcre库下载地址，nginx需要http://sourceforge.net/projects/pcre/files/pcre/zlib下载地址，nginx需要http://www.zlib.net/openssl下

2017-11-14 12:31:44 366

原创 pexpect与fabric

pexpectPexpect 是 Don Libes 的 Expect 语言的一个 Python 实现，是一个用来启动子程序，并使用正则表达式对程序输出做出特定响应，以此实现与其自动交互的 Python 模块。 Pexpect 的使用范围很广，可以用来实现与 ssh、ftp 、telnet 等程序的自动交互；可以用来自动复制软件安装包并在不同机器自动安装；还可以用来实现软件测试中与命令行交互的

2017-11-13 11:17:46 874

原创部署Tornado

部署Tornado为了充分利用多核CPU，并且为了减少同步代码中的阻塞影响，在部署Tornado的时候需要开启多个进程（最好为每个CPU核心开启一个进程）因为Tornado自带的服务器性能很高，所以我们只需开启多个Tornado进程。为了对外有统一的接口，并且可以分发用户的请求到不同的Tornado进程上，我们用Nginx来进行代理。1. supervisor为了统一管

2017-11-13 11:11:08 928

原创 WebSocket

WebSocketWebSocket是HTML5规范中新提出的客户端-服务器通讯协议，协议本身使用新的ws://URL格式。WebSocket 是独立的、创建在 TCP 上的协议，和 HTTP 的唯一关联是使用 HTTP 协议的101状态码进行协议切换，使用的 TCP 端口是80，可以用于绕过大多数防火墙的限制。WebSocket 使得客户端和服务器之间的数据交换变得更加简单，允许服务

2017-11-13 11:07:08 382

原创 Tornado异步

Tornado异步因为epoll主要是用来解决网络IO的并发问题，所以Tornado的异步编程也主要体现在网络IO的异步上，即异步Web请求。1. tornado.httpclient.AsyncHTTPClientTornado提供了一个异步Web请求客户端tornado.httpclient.AsyncHTTPClient用来进行异步Web请求。fetch(request, c

2017-11-13 11:05:15 575

原创认识异步

认识异步1. 同步我们用两个函数来模拟两个客户端请求，并依次进行处理：# coding:utf-8def req_a(): """模拟请求a""" print '开始处理请求req_a' print '完成处理请求req_a'def req_b(): """模拟请求b""" print '开始处理请求req_b' print '完成处

2017-11-13 11:01:34 234

原创用户验证

用户验证用户验证是指在收到用户请求后进行处理前先判断用户的认证状态（如登陆状态），若通过验证则正常处理，否则强制用户跳转至认证页面（如登陆页面）。authenticated装饰器为了使用Tornado的认证功能，我们需要对登录用户标记具体的处理函数。我们可以使用@tornado.web.authenticated装饰器完成它。当我们使用这个装饰器包裹一个处理方法时，Tornado将确保

2017-11-13 10:57:25 615

原创 XSRF

XSRF跨站请求伪造先建立一个网站127.0.0.1:8000，使用上一节中的Cookie计数器：class IndexHandler(RequestHandler): def get(self): cookie = self.get_secure_cookie("count") count = int(cookie) + 1 if cook

2017-11-13 10:51:15 9803

原创 Cookie

Cookie对于RequestHandler，除了在第二章中讲到的之外，还提供了操作cookie的方法。设置set_cookie(name, value, domain=None, expires=None, path='/', expires_days=None)参数说明：参数名说明namecookie名valuecoo

2017-11-13 10:47:54 611

原创数据库

数据库与Django框架相比，Tornado没有自带ORM，对于数据库需要自己去适配。我们使用MySQL数据库。在Tornado3.0版本以前提供tornado.database模块用来操作MySQL数据库，而从3.0版本开始，此模块就被独立出来，作为torndb包单独提供。torndb只是对MySQLdb的简单封装，不支持Python 3。torndb安装pip install

2017-11-13 10:44:03 464

原创使用模板

使用模板1. 路径与渲染使用模板，需要仿照静态文件路径设置一样，向web.Application类的构造函数传递一个名为template_path的参数来告诉Tornado从文件系统的一个特定位置提供模板文件，如：app = tornado.web.Application( [(r'/', IndexHandler)], static_path=os.path.join

2017-11-13 10:38:38 551

原创静态文件

静态文件现在有一个预先写好的静态页面文件（下载静态文件资源），我们来看下如何用tornado提供静态文件。static_path我们可以通过向web.Application类的构造函数传递一个名为static_path的参数来告诉Tornado从文件系统的一个特定位置提供静态文件，如：app = tornado.web.Application( [(r'/', Inde

2017-11-12 10:40:23 1189

原创接口与调用顺序

接口与调用顺序下面的接口方法是由tornado框架进行调用的，我们可以选择性的重写这些方法。1. initialize()对应每个请求的处理类Handler在构造一个实例后首先执行initialize()方法。在讲输入时提到，路由映射中的第三个字典型参数会作为该方法的命名参数传递，如：class ProfileHandler(RequestHandler): def ini

2017-11-12 10:38:51 5379

原创输出

输出1. write(chunk)将chunk数据写到输出缓冲区。如我们在之前的示例代码中写的：class IndexHandler(RequestHandler): def get(self): self.write("hello itcast!")想一想，可不可以在同一个处理方法中多次使用write方法？下面的代码会出现什么效果？class

2017-11-12 10:35:41 519

原创输入

输入下面几节主要讲解tornado.web.RequestHandler。回想一下，利用HTTP协议向服务器传参有几种途径？查询字符串（query string)，形如key1=value1&key2=value2；请求体（body）中发送的数据，比如表单数据、json、xml；提取uri的特定部分，如/blogs/2016/09/0001，可以在服务器端的路由中用正则表达式截取；

2017-11-12 10:28:11 453

原创 Application

Applicationsettings前面的学习中，我们在创建tornado.web.Application的对象时，传入了第一个参数——路由映射列表。实际上Application类的构造函数还接收很多关于tornado web应用的配置参数，在后面的学习中我们用到的地方会为大家介绍。我们先来学习一个参数：debug，设置tornado是否工作在调试模式，默认为False即工作在生

2017-11-12 10:24:13 469

原创 options

options在前面的示例中我们都是将服务端口的参数写死在程序中，很不灵活。tornado为我们提供了一个便捷的工具，tornado.options模块——全局参数定义、存储、转换。tornado.options.define()用来定义options选项变量的方法，定义的变量可以在全局的tornado.options.options中获取使用，传入参数：name 选项变量

2017-11-12 10:22:21 2391

原创 httpserver

httpserver上一节我们说在tornado.web.Application.listen()（示例代码中的app.listen(8000)）的方法中，创建了一个http服务器示例并绑定到给定端口，我们能不能自己动手来实现这一部分功能呢？现在我们修改上一示例代码如下：# coding:utf-8import tornado.webimport tornado.ioloopi

2017-11-12 10:18:21 2484

原创 Hello

上代码新建文件hello.py，代码如下# coding:utf-8import tornado.webimport tornado.ioloopclass IndexHandler(tornado.web.RequestHandler): """主路由处理类""" def get(self): """对应http的get请求方式"""

2017-11-12 10:14:12 381 1

原创安装

安装自动安装查看自己当前的环境是否已安装$ pip list安装$ pip install tornado手动安装下载安装包tornado-4.3.tar.gz（https://pypi.python.org/packages/source/t/tornado/tornado-4.3.tar.gz）$ tar xvzf tornado-4.3.tar

2017-11-12 10:10:52 240

原创 Tornado与Django

1.2 Tornado与DjangoDjangoDjango是走大而全的方向，注重的是高效开发，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。Django提供的方便，也意味着Django内置的ORM跟框架内的其他模块耦合程度高，应用程序必须使用Django内置的ORM，否则就不能享受到框架内提供的种种基于其ORM

2017-11-12 10:09:01 544

原创 Tornado是为何物

1.1 Tornado是为何物Tornado全称Tornado Web Server，是一个用Python语言写成的Web服务器兼Web应用框架，由FriendFeed公司在自己的网站FriendFeed中使用，被Facebook收购以后框架在2009年9月以开源软件形式开放给大众。特点：作为Web框架，是一个轻量级的Web框架，类似于另一个Python web框架Web.py，其

2017-11-11 10:44:51 574

原创 IT桔子分布式项目2

项目实现：items.py# items.py# -*- coding: utf-8 -*-import scrapyclass CompanyItem(scrapy.Item): # 公司id (url数字部分) info_id = scrapy.Field() # 公司名称 company_name = scrapy.Field()

2017-11-11 10:40:34 1151

原创 IT桔子分布式项目1

IT桔子是关注IT互联网行业的结构化的公司数据库和商业信息服务提供商，于2013年5月21日上线。IT桔子致力于通过信息和数据的生产、聚合、挖掘、加工、处理，帮助目标用户和客户节约时间和金钱、提高效率，以辅助其各类商业行为，包括风险投资、收购、竞争情报、细分行业信息、国外公司产品信息数据服务等。用于需自行对所发表或采集的内容负责,因所发表或采集的内容引发的一切纠纷、损失，由该内容的发表

2017-11-11 10:38:05 910

原创尝试改写新浪网分类资讯爬虫2

将已有的新浪网分类资讯Scrapy爬虫项目，修改为基于RedisSpider类的scrapy-redis分布式爬虫项目注：items数据直接存储在Redis数据库中，这个功能已经由scrapy-redis自行实现。除非单独做额外处理(比如直接存入本地数据库等)，否则不用编写pipelines.py代码。items.py文件# items.py# -*- coding: utf-8

2017-11-11 10:37:21 491

原创新浪网分类资讯爬虫

新浪网分类资讯爬虫思考：如何将已有的Scrapy爬虫项目，改写成scrapy-redis分布式爬虫。要求：将所有对应的大类的标题和urls、小类的标题和urls、子链接url、文章名以及文章内容，存入Redis数据库。以下为原Scrapy爬虫项目源码：items.py# -*- coding: utf-8 -*-import scrapyimport sys

2017-11-11 10:35:41 1113 1

原创处理Redis里的数据

处理Redis里的数据有缘网的数据爬回来了，但是放在Redis里没有处理。之前我们配置文件里面没有定制自己的ITEM_PIPELINES，而是使用了RedisPipeline，所以现在这些数据都被保存在redis的youyuan:items键中，所以我们需要另外做处理。在scrapy-youyuan目录下可以看到一个process_items.py文件，这个文件就是scrapy-redis

2017-11-11 10:33:29 1208

原创有缘网分布式爬虫案例2

有缘网分布式爬虫案例：修改 spiders/youyuan.py在spiders目录下增加youyuan.py文件编写我们的爬虫，使其具有分布式：# -*- coding:utf-8 -*-from scrapy.linkextractors import LinkExtractor#from scrapy.spiders import CrawlSpider, Rule# 1.

2017-11-11 10:31:00 809

原创有缘网分布式爬虫案例

有缘网分布式爬虫案例# clone github scrapy-redis源码文件git clone https://github.com/rolando/scrapy-redis.git# 直接拿官方的项目范例，改名为自己的项目用（针对懒癌患者)mv scrapy-redis/example-project ~/scrapy-youyuan修改settings.py下面列举了

2017-11-11 10:30:07 1679

原创源码自带项目说明

源码自带项目说明：使用scrapy-redis的example来修改先从github上拿到scrapy-redis的示例，然后将里面的example-project目录移到指定的地址：# clone github scrapy-redis源码文件git clone https://github.com/rolando/scrapy-redis.git# 直接拿官方的项目范例，改名为自

2017-11-11 10:27:55 614

原创从零搭建Redis-Scrapy分布式爬虫

Scrapy-Redis分布式策略：假设有四台电脑：Windows 10、Mac OS X、Ubuntu 16.04、CentOS 7.2，任意一台电脑都可以作为 Master端或 Slaver端，比如：Master端(核心服务器) ：使用 Windows 10，搭建一个Redis数据库，不负责爬取，只负责url指纹判重、Request的分配，以及数据的存储Slave

2017-11-11 10:26:01 1610