- 博客(30)
- 收藏
- 关注
RSS订阅转载 爬虫概要及web微信请求分析
一、爬虫概要1、网络爬虫是什么百度百科：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。通俗的讲，爬虫就是能够自动访问互联网并将网站内容下载下来的的程序或脚本，类似一个机器人，能把别人网站的信息弄到自己的电脑上，再做一些过滤，筛...
2018-07-12 20:22:00
418
转载 supervisor安装及其配置
一、supervisor概述 supervisor是一个c/s系统，被用来在类Unix系统中监控进程状态。supervisor使用python开发。 服务端进程为supervisord，主要负责启动自身及其监控的子进程，响应客户端命令，重启异常退出的子进程，记录子进程stdout和stderr输出，生成和处理子进程生命周期中的事件。其配置文件一般为/etc/sup...
2017-07-13 17:41:00
226
转载 python的构建工具setup.py
一、构建工具setup.py的应用场景 在安装python的相关模块和库时，我们一般使用“pip install 模块名”或者“python setup.py install”，前者是在线安装，会安装该包的相关依赖包；后者是下载源码包然后在本地安装，不会安装该包的相关依赖包。所以在安装普通的python包时，利用pip工具相当简单。但是在如下场景下，使用python se...
2017-04-01 22:50:00
884
转载 python web框架——扩展Django&tornado
一 Django自定义分页 目的：自定义分页功能，并把它写成模块(注意其中涉及到的python基础知识) models.py文件# Create your models here.class UserList(models.Model): username = models.CharField(max_length=32) age = m...
2016-04-04 08:13:00
161
转载 python web框架——初识tornado
一 Tornado概述 Tornado是FriendFeed使用的可扩展的非阻塞式web框架及其相关工具的开源版本。这个Web框架看起来有些像web.py或者Google的 webapp，不过为了能有效利用非阻塞式服务器环境，这个Web框架还包含了一些相关的有用工具和优化。 Tornado和现在的主流Web服务器框架（包括大多数Python的框架）有着明显的区别：它是非阻塞式...
2016-04-03 18:16:00
166
转载 Django基础——Model篇(三)
一 Django ORM中的概念ORM —— 关系对象映射，是Object Relational Mapping的简写，是用来简化数据库操作的框架Django ORM遵循Code Frist原则，即根据代码中定义的类来自动生成数据库表，对于ORM框架： (1)自定义的类表示待创建数据库的表 (2)根据自定义类创建的对象obj表示数据库表中的一行数据 (3)obj.字段1、obj...
2016-04-03 18:16:00
134
转载 Django基础——Model篇(二)
一 Model连表关系 一对多：models.ForeignKey(其他表) 多对多：models.ManyToManyField(其他表) 一对一：models.OneToOneField(其他表) 一般在数据库中创建外键关联时，就有一对多或者多对多，而一对一是Django独有的。应用场景： 一对多：当一张表中创建一行数据时，有一...
2016-03-30 17:55:00
89
转载 web前端基础补充
1 布局和事件布局效果如下(标题和内容都居中，两边留空白)布局代码如下<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>居中布局</title> <style&...
2016-03-11 16:57:00
101
转载 Django基础——Model篇(一)
到目前为止，当程序涉及到数据库相关操作时，我们一般都会这么操作： (1)创建数据库，设计表结构和字段 (2)使用MySQLdb来连接数据库，并编写数据访问层代码 (3)业务逻辑层去调用数据访问层，执行数据库操作import MySQLdb def GetList(sql): db = MySQLdb.connect(user='ro...
2016-03-08 21:34:00
142
转载 Django基础——Form&Ajax篇
一 Form 在实际的生产环境中，登录和注册时用户提交的数据浏览器端都会使用JavaScript来进行验证(比如验证输入是否为空以及输入是否合法)，但是浏览器可能会禁用JavaScirpt，同时也有人可能会搞注入攻击，这样浏览器端的验证就无法发挥作用(一般不会禁用)，所以在实际项目中一般都会进行两层验证，即客户端(浏览器)的验证和服务器端的验证。Django中的Form表单功能...
2016-03-01 21:22:00
90
转载 web前端基础——jQuery编程进阶
1 jQuery本质jQuery不是一门独立的语言，它是JavaScript的一个类库或框架。jQuery的核心思想就是：选取元素，对其操作。很多时候写jQuery代码的关键就是怎样设计合适的选择器选中需要的元素。 jQuery主要分为以下几部分： 查找： 选择器 筛选 操作： 标签属性...
2016-02-26 14:36:00
172
转载 web前端基础——jQuery编程基础
1 jQuery简介 jQuery是一个兼容多浏览器的JavaScript库，核心理念是write less,do more(写得更少,做得更多)。它对JavaScript进行了封装，使开发更便捷，并且在兼容性方面十分优秀。jQuery库可以通过一行简单的标记被添加到网页中。 1.1 jQuery库 - 特性 jQuery是一个JavaScript 函数库。jQu...
2016-02-19 09:56:00
135
转载 web前端基础——初识HTML DOM编程
1 HTML DOM编程概述 文件对象模型（Document Object Model，简称DOM），是W3C组织推荐的处理HTML的标准编程接口。由于HTML文档被浏览器解析后就是一棵DOM树，要改变HTML的结构，就需要通过JavaScript来操作DOM。始终记住DOM是一个树形结构。 HTML DOM(文档对象模型)，当网页被加载时，浏览器会创建页面的文档对象...
2016-02-15 11:32:00
479
转载 web前端基础——初识JavaScript
1 JavaScript概述 JavaScript是一种属于网络的脚本语言,已经被广泛用于Web应用开发,常用来为网页添加各式各样的动态功能,为用户提供更流畅美观的浏览效果。通常JavaScript脚本是通过嵌入在HTML中来实现自身的功能的。 (1)存在形式 第1种：JavaScript语句直接嵌入HTML中 1 <!DOCTYPE html&...
2016-02-03 15:25:00
457
转载 web前端基础——初识CSS
1 CSS概要 CSS(Cascading Style Sheets)称为层叠样式表，用于美化页面(单纯HTML写的页面只是网页框架和内容的组合，相当于赤裸的人，而CSS则是给赤裸的人穿上华丽的外衣)，基本上所有的HTML页面都或多或少的使用了CSS。 CSS在页面中存在的三种方式：元素内联、页面嵌入和外部引入(语法：style='key1:value1;key2:va...
2016-01-31 17:24:00
545
转载 web前端基础——初识HTML
1 HTML概念 HTML（Hypertext Markup Language）即超文本标记语言，是网页的描述语言。它其实是一种描述网页的标准，它通过给需要描述的内容加上标签，浏览器按照HTML语言的规范翻译成相应的展示形式，便于浏览。HTML语言可以描述文字、图形、动画、声音、表格、链接等，HTML文件包括头部（Head）、主体 （Body）两大部分，其中头部描述浏览器所需的...
2016-01-31 10:59:00
514
转载 CentOS 6.5上安装python2.7、pip以及Python命令行补全和yum冲突解决
目前CentOS6.5上自带的python版本为2.6，升级到python2.7会碰到很多问题。本文将介绍如何安装python2.7、pip以及python命令行补全。一、如何安装python2.7 （1）gcc编译器，可以单独安装gcc，也可以安装“Development Tools”。 yum -y install gcc 或者 yum ...
2016-01-28 16:37:00
115
转载 Python中常用技巧整理
Python中os.path的妙用 http://xpleaf.blog.51cto.com/9315560/1736956转载于:https://www.cnblogs.com/maociping/p/5162635.html
2016-01-27 11:23:00
72
转载 Python之路——线程池
1 线程基础 1.1 线程状态 线程有5种状态，状态转换的过程如下图所示： 1.2 线程同步——锁 多线程的优势在于可以同时运行多个任务（至少感觉起来是这样，其实Python中是伪多线程）。但是当线程需要共享数据时，可能存在数据不同步的问题。考虑这样一种情况：一个列表里所有元素都是0，线程"set"从后向前把所有元素改成1，而线程"print"负责从前...
2016-01-24 23:52:00
80
转载 Python之路——堡垒机原理及其简单实现
1 堡垒机基本概述 其从功能上讲，它综合了核心系统运维和安全审计管控两大主干功能，从技术实现上讲，通过切断终端计算机对网络和服务器资源的直接访问，而采用协议代理的方式，接管了终端计算机对网络和服务器的访问。形象地说，终端计算机对目标的访问，均需要经过运维安全审计的翻译。打一个比方，运维安全审计扮演着看门者的工作，所有对网络设备和服务器的请求都要从这扇大门经过。因此运维安全审...
2016-01-21 21:54:00
316
转载 git使用基础
一、git介绍 git是由 Linus 开发的一种“分布式版本控制”软件，而在此之前，版本控制基本上都是“集中式版本控制”，如：CVS,SVN 等。两者的区别： 1. "集中式版本控制系统"中，版本库是集中存放在中央服务器中的，开发人员在干活的时候，要先去访问中央服务器调取项目代码，然后才能修改，最后再提交到中央服务器中，供别人拉取使用。因此它有一个很大的缺点，那就是必须链接到...
2016-01-20 09:24:00
83
转载 python网络编程——SocketServer/Twisted/paramiko模块
在之前博客C/S架构的网络编程中，IO多路复用是将多个IO操作复用到1个服务端进程中进行处理，即无论有多少个客户端进行连接请求，服务端始终只有1个进程对客户端进行响应，这样的好处是节省了系统开销(select不适合单个客户端长会话操作，这样其它客户端连接请求就会一直等待，poll/epoll对select进行了改进)。下面介绍结合了IO多路复用和多进程(多线程)的Socket...
2016-01-18 16:30:00
292
转载 python之路——MySQL数据库
1 MySQL相关概念介绍 MySQL为关系型数据库(Relational Database Management System), 这种所谓的"关系型"可以理解为"表格"的概念, 一个关系型数据库由一个或数个表格组成, 如图所示的一个表格:表头(header): 每一列的名称;列(row): 具有相同数据类型的数据的集合;行(col): 每一行用来描述某个...
2016-01-18 16:28:00
75
转载 python网络编程——IO多路复用select/poll/epoll的使用
转载博客: http://www.haiyun.me/archives/1056.html http://www.cnblogs.com/coser/archive/2012/01/06/2315216.html http://my.oschina.net/moooofly/blog/147297...
2016-01-18 15:59:00
85
转载 linux中相关服务不能访问的排错技巧
Linux相关服务不能访问的排错步骤，以HTTP服务为例：一、服务端排查思路：1、检查SELinux是否关闭（针对CentOS6系统） (1)临时关闭 setenforce 0 (2)修改配置文件，永久关闭 编辑/etc/selinux/config配置文件，将"SELINUX=enforcing"改为"SELINUX=disabled"2、检查防火墙 ...
2016-01-15 14:16:00
235
转载 python进阶——进程/线程/协程
1 python线程 python中Threading模块用于提供线程相关的操作，线程是应用程序中执行的最小单元。 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 4 import threading 5 import time 6 7 def show(arg): 8 t...
2016-01-15 10:40:00
229
转载 python网络编程——IO多路复用之epoll
1、内核EPOLL模型讲解 此部分参考http://blog.csdn.net/mango_song/article/details/42643971博文并整理 首先我们来定义流的概念，一个流可以是文件，socket，pipe等可以进行I/O操作的内核对象。不管是文件，还是套接字(socket)，还是管道(pipe)，我们都可以把他们看作流。 之后我们来讨...
2016-01-15 10:35:00
320
转载 python网络编程——IO多路复用之select
1 IO多路复用的概念 原生socket客户端在与服务端建立连接时，即服务端调用accept方法时是阻塞的，同时服务端和客户端在收发数据(调用recv、send、sendall)时也是阻塞的。原生socket服务端在同一时刻只能处理一个客户端请求，即服务端不能同时与多个客户端进行通信，实现并发，导致服务端资源闲置(此时服务端只占据 I/O，CPU空闲)。 现...
2016-01-14 13:07:00
189
转载 python网络编程——网络IO模型
1 网络IO模型介绍 服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种： （1）同步阻塞IO（BlockingIO）：即传统的IO模型。 （2）同步非阻塞IO（Non-blockingIO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO(NewIO)库。...
2016-01-11 16:56:00
117
转载 python网络编程——socket基础篇
python的网络编程比c语言简单许多, 封装许多底层的实现细节, 方便程序员使用的同时, 也使程序员比较难了解一些底层的东西。1 TCP/IP 要想理解socket，首先得熟悉一下TCP/IP协议族，TCP/IP（Transmission Control Protocol/Internet Protocol）即传输控制协议/网间协议，定义了主机如何连入因特网及数据如何...
2016-01-08 09:24:00
251
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人