batyu1972-CSDN博客

原创 Python爬虫 9-Scrapy框架初探

1.Scrapy介绍什么是Scrapy？Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html异步和非阻塞的区别异步：调用在发出之后，这个调用就直接返回，不管有无结果非阻塞：关注的是程序在等待调用结果时的状态，指在不能立刻得到结果之前，该调用不

2020-11-23 21:02:32 392 1

原创 Python爬虫 8-多线程爬虫

1.多任务基本介绍有很多的场景中的事情是同时进行的，比如开车的时候手和脚共同来驾驶汽车，再比如唱歌跳舞也是同时进行的。1.1 程序中模拟多任务import timedef sing(): for i in range(3): print("正在唱歌...%d"%i) time.sleep(1)def dance(): for i in range(3): print("正在跳舞...%d"%i) time.sle

2020-11-23 20:42:50 178

原创 Python爬虫 7-图形验证码识别

1.Tesseract安装及简介阻碍我们爬虫的。有时候正是在登录或者请求一些数据时候的图形验证码。因此这里我们讲解一种能将图片翻译成文字的技术。将图片翻译成文字一般被称为光学文字识别（Optical Character Recognition），简写为OCR。实现OCR的库不是很多，特别是开源的。因为这块存在一定的技术壁垒（需要大量的数据、算法、机器学习、深度学习知识等），并且如果做好了具有很高的商业价值。因此开源的比较少。这里介绍一个比较优秀的图像识别开源库：Tesseract。Tesseract是

2020-11-23 20:15:16 255

原创 Python爬虫 6-Selenium

爬虫和反爬虫的斗争爬虫建议尽量减少请求次数保存获取到的HTML，供查错和重复使⽤关注网站所有类型的页面H5页面APP多伪装代理IP随机请求头利用多线程分布式在不被发现的情况下我们尽可能的提⾼速度Ajax基本介绍了解动态HTML技术JS是⽹络上最常⽤的脚本语⾔,它可以收集⽤户的跟踪数据,不需要重载⻚⾯直接提交表单,在⻚⾯嵌⼊多媒体⽂件,甚⾄运⾏⽹⻚JQueryjQuery是⼀个快速、简洁的JavaScript框架,封装了JavaScr

2020-11-07 14:29:37 329

原创 Python爬虫 5-BS4

bs4简介基本概念Beautiful Soup 是⼀个可以从HTML或XML⽂件中提取数据的⽹⻚信息提取库安装pip install lxmlpip install bs4bs4的使用快速使用html_doc = """<html><head><title>The Dormouse's story</title></head><body>The D

2020-10-26 16:56:22 132

原创 Python爬虫 4-xpath和csv

xpath介绍基本概念Xpath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath用于XML文档中通过元素和属性进行导航xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素其中的属性值。lxml是python中的第三方模块，它包含了将html文本转化成xml对象和对对象执行xpath的功能节点的关系xml_content = '''<bookstore><book> <title

2020-10-22 16:26:09 341

原创 Python爬虫 3-正则表达式

1.正则表达式简介1.1 概念正则表达式是对字符串操作的⼀种逻辑公式，就是⽤事先定义好的⼀些特定字符、及这些特定字符的组合，组成⼀个“规则字符串”，这个“规则字符串”⽤来表达对字符串的⼀种过滤逻辑1.2 正则表达式的应用场景表单验证（例如 : ⼿机号、邮箱、身份证…）爬虫2. 正则表达式对python的支持2.1 普通字符字⺟、数字、汉字、下划线、以及没有特殊定义的符号，都是"普通字符"。正则表达式中的普通字符，在匹配的时候只匹配与⾃身相同的⼀个字符。例如：表达式c，在匹配字符串a

2020-10-15 22:35:44 686

原创 Python爬虫 2-爬虫请求模块

为什么学习requests，而不是urllib1、request的底层实现就是urllib2、requests在Python2和Python3通用，方法完全一样3、requests简单易用4、requests能够自动帮助我们解压（gzip压缩的）网页内容requests的作用作用：发送网络请求，返回相应数据中文文档API：http://docs.python-requests.org/zh_CN/latest/requests中解决编码的方法response.content.decode(

2020-10-09 17:54:33 571

原创 Python爬虫 1-爬虫简介

1.通信协议1.1端口我们想要进行数据通讯分几步?1.找到对方IP2.数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做端口。这里的端口我们一般都叫做 ‘逻辑端口’3.定义通讯规则。这个通讯规则我们一般称之为协议1.2 通信协议国际组织定义了通用的通信协议 TCP/IP协议所谓协议就是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则• HTTP又叫做超文本传输协议（是一种通信协议） HTT

2020-09-29 17:59:32 846

原创 Python核心编程-异常&文件

1.异常简介程序在运行过程中可能会出现一些错误。比如: 使用了不存在的索引，两个不同类型的数据相加…这些错误我们称之为异常处理异常程序运行时出现异常，目的并不是让我们的程序直接终止！Python是希望在出现异常时，我们可以编写代码来对异常进行处理2.异常的传播当在函数中出现异常时，如果在函数中对异常进行了处理，则异常不会在进行传播。如果函数中没有对异常进行处理，则异常会继续向函数调用传播。如果函数调用处处理了异常，则不再传播异常，如果没有处理则继续向调用处传播。直到传递到全局作用域(主模块)

2020-09-21 11:25:48 64

原创 Python核心编程-模块

1.模块模块化指将一个完整的程序分解成一个个的小模块通过将模块组合，来搭建出一个完整的程序模块化的优点方便开发方便维护模块可以复用2.模块的创建在Python当中一个py文件就是一个模块在一个模块中引入外部模块 import 模块名(模块名就是py文件)可以引入同一个模块多次，但是模块的实例只会创建一次import 模块名 as 模块别名在一个模块内部都有一个__name__。通过它我们可以获取模块的名字如果py文件直接运行时，那么__name__默认等于字符串’mai

2020-09-17 21:14:37 96

原创 Python核心编程-面向对象三

1.继承简介继承是面向对象三大特性之一通过继承我们可以使一个类获取到其他类中的属性和方法在定义类时，可以在类名后面的括号中指定当前类的父类(超类、基类)继承提高了类的复用性。让类与类之间产生了关系。有了这个关系，才有了多态的特性2.方法重写如果在子类中有和父类同名的方法，则通过子类实例去调用方法时，会调用子类的方法而不是父类的方法，这个特点我们称之为方法的重写(覆盖)当我们调用一个对象的方法时：会优先去当前对象中寻找是否具有该方法，如果有则直接调用如果没有，则去当前对象的父类中寻找

2020-09-15 17:14:28 70

原创 Python核心编程-面向对象二

1、特殊方法在类中可以定义一些特殊方法也称为魔术方法特殊方法都是形如 xxx()这种形式特殊方法不需要我们调用，特殊方法会在特定时候自动调用2.封装出现封装的原因：我们需要一种方式来增强数据的安全性...

2020-09-13 17:24:13 72

原创 Python核心编程-面向对象一

1.面向对象简介Python是一门面向对象的编程语言所谓面向对象的语言，简单理解就是语言中的所有操作都是通过对象来进行的面向过程面向过程指将我们的程序分解成一个一个的步骤，通过每个步骤的抽象来完成程序这种编写方式往往只适用于一个功能，如果要实现别的功能，往往复用性比较低这种编程方式符合人类的思维，编写起来比较容易面向对象的编程语言，关注的是对象，而不是注重过程，对于面向对象，一切皆对象面向对象的编程思想将所有功能统一保存到对应的对象中，要使用某个功能，直接找到对应的对象即可这种编码

2020-09-11 11:23:44 104

原创 Python核心编程-函数三

1.高阶函数接收函数作为参数，或者将函数作为返回值返回的函数就是高阶函数2.闭包将函数作为返回值也是高阶函数我们也称为闭包闭包的好处通过闭包可以创建一些只有当前函数能访问的变量可以将一些私有数据藏到闭包中形成闭包的条件函数嵌套将内部函数作为返回值返回内部函数必须使用外部函数的变量3.装饰器的引入通过装饰器，可以在不修改原来函数的情况下来对函数进行扩展在开发中，我们都是通过装饰器来扩展函数的功能的...

2020-09-07 20:27:48 147

原创 Python核心编程-函数二

1.函数的返回值返回值就是函数执行以后返回的结果通过return来指定函数的返回值return后面可以跟任意对象，返回值甚至可以是一个函数2.文字字符串help()是Python中内置函数，通过help()函数可以查询Python中函数的用法在定义函数时，可以在函数内部编写文档字符串，文档字符串就是对函数的说明3.函数的作用域作用域(scope)指的是变量生效的区域在Python中一共有两种作用域全局作用域全局作用域在程序执行时创建，在程序执行结束时销毁所有函数以外的区

2020-09-05 18:39:52 82

原创 Python核心编程-函数一

1.函数简介函数也是一个对象。函数用来保存一些可以执行的代码，并且可以在需要时，对这些语句进行多次调用。语法def 函数名([形参1,形参2,形参3....]): 代码块注意：函数名必须符合标识符的规范(可以包含字母、数字、下划线但是不能以数字开头)print是函数对象，print()是调用函数。2.函数的参数2.1 函数的形参与实参形参(形式参数) 定义形参就相当于在函数内部声明了变量，但是并不是赋值实参(实际参数)指定了形参，那么在调用函数时必须传递实参，实参将会

2020-09-03 22:15:29 84

原创 Python核心编程-元组、字典与集合

1、元组元组基本介绍元组表现形式tuple元组是一个不可变序列(一般当我们希望数据不改变时，我们使用元组，其他情况下基本都用列表)使用()创建元素元组不是空元组至少有一个逗号(,) 当元组不是空元组时括号可以省略元组与字符串类似，下标索引从0开始，可以进行截取，组合等元组解包指将元组当中的每一个元素都赋值给一个变量将元组中的元素分别赋值给变量family_name, name, you = ('wan', 'yan', 'hello')family_name, *name,

2020-09-02 00:04:45 99

原创 Python核心编程-列表

1.序列1.1 基础概念序列是Python中最基本的一种数据结构。序列用于保存一组有序的数据，所有的数据在序列当中都有一个唯一的位置（索引）并且序列中的数据会按照添加的顺序来分配索引。数据结构指计算机中数据存储的方式。1.2 序列的分类可变序列（序列中的元素可以改变）：例如列表（list）字典(dict)不可变序列（序列中的元素不能改变）：例如字符串（str）元组（tuple）2.列表列表是Python中的一个对象列表的作用列表中可以保存多个有序的数据列表是用来存储对象

2020-08-29 23:07:41 94

原创 Python核心编程-条件控制语句

1.条件判断语句执行的流程if语句在执行时，会先对条件表达式进行求值判断如果为True，则执行if后的语句如果为False，则不执行语法：if 条件表达式 :代码块代码块代码块中保存着一组代码，同一个代码块中的代码，要么都执行要么都不执行代码块以缩进开始，直到代码恢复到之前的缩进级别时结束代码块就是一种为代码分组的机制2.input函数该函数用来获取用户的输入input()调用后，程序会立即暂停，等待用户输入用户输入完内容以后，点击回车程序才会继续向下执行用户输入完成

2020-08-27 22:44:21 88

原创 Python核心编程-运算符

1.运算符1.1 运算符的概念运算符用于执行程序代码运算，会针对一个以上操作数项目来进行运算。例如：2+3，其操作数是2和3，而运算符则是“+”1.2 运算符的分类算术运算符赋值运算符比较运算符逻辑运算符条件运算符（三元运算符）2.算术运算符加减乘除 ±*/整除 //取模 %幂运算 **3.赋值运算符x+=3 相当于 x=x+3+=，-=，*=，/=,**=,//=,%=4.比较运算符比较运算符用来比较两个值之间的关系，总会返回一个布尔值.如果关系成立，返

2020-08-25 22:35:07 141

原创 Python核心编程-基本数据类型

1 几个概念1.1 表达式（Expression）表达式，是由数字、算符、数字分组符号（括号）、自由变量和约束变量等以能求得数值的有意义排列方法所得的组合。表达式特点表达式一般仅仅用于计算一些结果，不会对程序产生实质性的影响。如果在交互模式中输入一个表达式，解释器会自动将表达式的结果输出。1.2 语句一个语法上自成体系的单位，它由一个词或句法上有关连的一组词构成。语句的执行一般会对程序产生一定的影响,在交互模式中不一定会输出语句的执行结果。1.3 程序(Program)程

2020-08-23 22:48:41 91

原创 MySQL 8.0.19安装教程(windows 64位)

MySQL 8.0.19安装教程(windows 64位)话不多说直接开干一、下载安装包MySQL安装有两种格式，一种是msi格式的，一种是zip格式的。如果是msi格式，可以直接点击安装，按照给出的安装提示进行安装就可以了，如果是zip格式是自己解压，解压缩之后就可以使用了，但是要进行配置。我这里是使用zip格式的，然后进行知己配置的。点击下载MySQL安装文件下载完成之后解压，解压完是这个样子的:二、配置初始化my.ini文件、配置环境变量这个版本的MySQL安装文.

2020-08-21 10:31:53 323

原创 Python核心编程-Python要点

1 Python语言1.1 Python语言的概念Python 是一种极少数能兼具、简单与功能强大的编程语言。你将惊异于发现你正在使用的这门编程语言是如此简单，它专注于如何解决问题，而非拘泥于语法与结构。官方介绍：Python 是一款易于学习且功能强大的编程语言。它具有高效率的数据结构，能够简单又有效地实现面向对象编程。Python 简洁的语法与动态输入之特性，加之其解释性语言的本质，使得它成为一种在多种领域与绝大多数平台都能进行脚本编写与应用快速开发工作的理想语言。Python 的创造者

2020-08-21 00:04:57 739

原创 Python核心编程-计算机要点

1. 计算机的基本概念1.1 计算机基本概念计算机（computer）俗称电脑，是现代一种用于高速计算的电子计算机器特点 : 数值计算逻辑计算存储记忆功能总结 : 能够按照程序运行、自动、高速处理数据的现代化智能电子设备1.2 组成硬件软件2. 计算机的语言2.1 计算机语言基本概念概念：计算机语言（Computer Language）指用于人与计算机之间通讯的语言。总结:能够按照程序运行、自动、高速处理数据的现代化智能电子设备2.2 计算机语言的发展机器语言

2020-08-17 23:39:47 108

原创 Markdown语法学习

Markdown语法学习标题一标题二标题三加粗文本斜体文本加粗斜体删除文本引用文本print("Markdown is great!!!") #打印Makrdown is great！！！插入图片列表项目项目项目1项目2简单的表格项目价格状态电脑$1600有手机$12无导管$1无...

2020-08-17 22:50:09 74

原创 Exchange2010安装前准备脚本

安装 .NET Framework 3.5 SP1 安装 RSAT-ADDS（AD DS 管理单元和命令行工具）安装 IIS 7.5 以及 IIS6 元数据兼容性（IIS6 Metabase）组件安装 Microsoft Filter Pack（筛选包）配置 Net.TCP Port Share Service 为自启动模式安装桌面体验（Desktop Experience，注意：该步骤只在选择“统一消息角色”时使用）安装 .NET Framework 3.5 SP1 [code] Add-Wi

2011-05-06 15:54:00 2482

原创解决IE8的Sysfader错误问题

IE使用时经常会遇到一些问题，比如说报错之类的。有时候大家就会经常遇到这个问题：正常运行的IE会突然弹出对话框，告知SysFader错误，某段地址空间不可读，点确认后IE被强行关闭。这是什么原因呢？这个情况一般跟SysFader有一定关系。你可以尝试禁用SysFader。具体方法： 1、如果你的系统是windows2000,请在桌面上点右-->属性-->效果-->视觉效果，将淡出淡入效果取消。 2、如果你的系统是windows xp，请右键单击"我的电脑"，

2011-05-06 15:53:00 2491

转载 Windows2008 FTP的用户隔离设置

用windows2008server IIS建立FTP站点

2010-07-28 13:40:00 6794

原创 Windows7远程协助与windows xp远程协助的小区别

1、取消了传送文件，windows7远程协助不能直接传文件给对方了。有点不方便。2、连接方式增加了轻松连接，有点类似于teamviewer，只要将连接的密码发给对方就可以请人协助了，这个功能很方便。

2010-06-24 14:00:00 1446

原创 windows7 xp mode的备份与恢复

xp mode的安装就不多说了，现在也不需要芯片虚拟化技术支持了。 1、备份虚拟机磁盘文件 打开windows virtual pc，设置，将虚拟机磁盘文件备份下来。 2、备份虚拟机内程序菜单的快捷方式 如果已经在xp mode里安装程序的话，会在windows7菜单里的产生快捷方式，位置在：USERPROFILE%/AppData/Local/Microsoft/Windows Virtual PC/Virtual Applications/

2010-06-11 15:05:00 6816

10135A-Configuring, Managing and Troubleshooting Microsoft Exchange2010_Vol2

10135A-Configuring, Managing and Troubleshooting Microsoft Exchange2010_Vol1

空空如也