pyspider

文章目录pyspider连接与安装架构使用步骤说明1.创建项目2.项目编辑和调试页面3.启动爬虫pyspider用法详解1.命令行2.crawl()方法3.任务区分4.全局配置5.定时爬取6.项目状态7.删除项目 pyspider 连接与安装 [github连接]https://github.co...

2018-09-22 16:28:07

阅读数 810

评论数 0

argparse命令行解析模块

argparse命令行解析模块 基本用法 ArgumentParser对象 add_argument()方法 parse_args()方法 其他工具 官方文档 argparse命令行解析模块 导入包 import argparse 基本用法 import a...

2018-09-16 15:37:29

阅读数 248

评论数 0

CA和证书

CA和证书 创建CA 生成证书 吊销证书 配置文件生成证书请求 参考 CA和证书 创建CA 查看openssl.cnf配置文件:位于/usr/lib/ssl/openssl.cnf.ca相关的配置在CA_default条目下 dir = /etc/pki/CA #...

2018-09-10 19:07:45

阅读数 63

评论数 0

struct模块

struct模块 函数和异常 格式字符串 类 struct模块 函数和异常 struct.error:异常 struct.pack(format,v1,v2,…):根据格式字符串打包,参数必须与格式所需的值匹配,返回字节对象 struct.pack_into(for...

2018-09-08 15:21:47

阅读数 32

评论数 0

ptrhon GUI编程

ptrhon GUI编程 GUI程序步骤 基本概念 控件 窗口 参数配置选项 配置组件外观外观: 对话框 绑定事件 Message和Entry组件 tkinter连接变量 Checkbutton,Radiobutton和Scale 图像 使用pillow查看和处理图像 菜单 顶层窗口菜单...

2018-09-02 11:07:21

阅读数 155

评论数 0

regex正则表达式

表示 法描述 正则表达式示例 符号 literal 匹配文本字符串的字面值 literal foo re1|re2 匹配正则表达式re1或者re2 foo|bar . ...

2018-08-16 19:58:01

阅读数 371

评论数 0

搭建ftp服务器

ftp服务器 安装与启动 安装 vsftpd:sudo apt install vsftpd -y 查看是否启动:sudo netstat -nltp | grep 21 手动启动:sudo systemctl start vsftpd.service 配置用户目录 新建用户主目录:s...

2018-08-16 13:48:00

阅读数 95

评论数 0

通过requests库伪造表单模拟登录github

from lxml import etree import requests # import pdb class Login(): """ 登录类,为实例提供了初始化状态和方法 "&quot...

2018-08-13 16:23:46

阅读数 197

评论数 0

简单图形验证码识别

图形验证码 安装,配置及连接 识别 减少干扰 图形验证码 安装,配置及连接 OCR,即Optical Character Recognition,光学字符识别,是指通过扫描字符,然后通过其形状将其翻译成电子文本的过程 tesserocr是Python的一个OCR识...

2018-08-12 17:05:16

阅读数 122

评论数 0

Splash

Splash 安装,连接及配置 Docker的安装 Splash Scrapy-Splash的安装 Splash Lua脚本 Splash对象属性 Splash对象的方法 Splash API调用 Splash负载均衡配置 Splash 安装,连接及配置 ...

2018-08-12 16:55:05

阅读数 1065

评论数 0

docker

docker docker架构 ubuntu16.04安装 docker使用 docker Docker 官网:http://www.docker.com Github Docker 源码:https://github.com/docker/docker Docker...

2018-08-12 16:50:47

阅读数 219

评论数 0

Ajax分析

[TOC] Ajax数据爬取 Ajax介绍 Ajax,全称为Asynchronous JavaScript and XML,即异步的JavaScript和XML。它不是一门编程语言,而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更...

2018-08-12 16:49:55

阅读数 46

评论数 0

requests+正则表达式爬取猫眼国内票房榜

''' 抓取猫眼国内票房榜,地址:http://maoyan.com/board/1 ''' import re import requests def one_page(url): ''' 获取页面 ''' headers = { ...

2018-08-12 16:19:26

阅读数 90

评论数 0

python中 异常

[TOC] 异常 异常基础 默认的异常处理器: 异常会向上返回到程序顶层,启用默认的异常处理器,打印标准出错消息(堆栈跟踪和引发的异常)并终止程序. 异常的角色: 错误处理,事件通知,特殊情况处理,终止行为,非常规流程控制 异常产生: pyth...

2018-08-12 09:48:23

阅读数 94

评论数 0

python中Unicode 和字节字符串

Unicode 和字节字符串 字符串编码方式: python字符串类型: 文本和二进制文件: 编码: 处理BOM 其他字符串工具 Unicode 和字节字符串 字符串编码方式: ASCLL标准 每个字符存储在一个8位的字节中(实际上,只有其中的7位真正用到) o...

2018-08-12 09:47:54

阅读数 624

评论数 0

python系统编程

系统编程 系统工具 概述 sys模块 os模块 脚本运行上下文 当前工作路径 命令行参数 shell环境变量 标准流 文件和目录工具 文件工具 目录工具 并行系统工具 进程分支 线程 程序退出 进程间通信(IPC) multiprocessing模块 启动程序的其他方法 ...

2018-08-12 09:46:55

阅读数 175

评论数 0

configparser配置文件解析模块

configparser配置文件解析模块 配置文件 configparser 的基本操作 其他注意 configparser配置文件解析模块 配置文件 配置文件中包含一个或多个 section, 每个 section 有自己的 option; section 用 ...

2018-08-12 09:45:56

阅读数 187

评论数 0

wireshark学习——1.认识界面

我们在正式利用Wireshark进行数据包分析之前,应当首先了解一下这款软件主 窗口界面中每个部分的功能。Wireshark主窗口界面如下图所示(实验文件Lab1- 1.pcapng): Alt text 上图中每部分的含义如下: 标题栏:用于显示所分析的抓包文件的名称、捕获的设备名称以及W...

2018-08-10 19:51:26

阅读数 422

评论数 0

wireshark学习——2.实用表格

通过上次课程的学习,我们已经掌握了关于Wireshark的基础知识,那么接下来我 们就有必要来研究一下这款软件强大的表格功能了。 这里首先讲解一下关于网络中的端点以及会话的知识。在网络中,如果想让通信得 到正常的执行,那么就必须至少拥有两台设备或者说端点(EndPoint)进行数 据的交互操作。...

2018-08-10 19:51:00

阅读数 82

评论数 0

wireshark学习——3.图形显示

我们之前讲解的各种实用的表格虽然能够有效辅助我们的分析,但是如果想要更好的了解我们所分析的网络情况,则需要依靠Wireshark的图形功能来直观地展示出来。而我们这次课主要讲解Wireshark常用的一些图形界面。 首先介绍一下IO Graphs。这个窗口可以让我们对网络上的数据吞吐情况进行绘图...

2018-08-10 19:50:32

阅读数 723

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭