- 博客(18)
- 收藏
- 关注
RSS订阅原创 python 爬虫 多线程
多线程介绍多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。threading模块threading模块是python中专门提供用来做多线程编程的模块，常用类是Thread。import threadingimport timedef coding(): for x in renge(3): ...
2020-05-02 10:02:05
386
转载 python 爬虫 正则表达式
正则表达式概述正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式的大致匹配过程是：1.依次拿出表达式和文本中的字符比较，2.如果每一个字符都能匹配，则匹配成功；一旦有匹配不成功的字符则匹配失败。3.如果表达式中有量词或边界，这个过程会稍微有一些不同。正则表达式...
2020-04-14 09:04:59
208
原创 XPath语法与lxml模块
XPath概述xpath是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历xpath语法使用方式使用//获取整个页面当中的元素，然后写标签名，然后在写谓词进行提取//div[@class='abc']需要注意的知识点1./和//的区别：/代表只获取直接子节点。//获取子孙节点。一般//用的比较多，当然也要视情况而定。2.contain...
2020-04-13 10:42:29
154
原创 python 爬虫 requests 库
requests库安装pip install requests发送GET请求1.通过get请求response = requests.get("网址").2.添加headers和查询参数import requestskw = {'wd':'XX'}headers = {"User-Agent":"..."}response = requests.get("网址",param...
2020-04-10 08:45:42
139
原创 Cookie原理详解
cookie概述在网站中，HTTP请求时无状态的，也就是说即使第一次和服务器连接后并且登陆成功后，第二次服务器依然当前请求是哪个用户。cookie出现就是为了解决这个问题，第一次登录后服务器会返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送红第二个请求时，就会自动地把上次请求存储的cookie数据自动的携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪个了。co...
2020-04-09 15:30:11
286
原创 urllib库
urllib库概述urllib库是Python中的一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。urlopen函数python3的urllib库中所有和网站请求相关的方法都被集中，在’urllib.request’模块中，urlopen可以将当页全部代码爬下来from urllib import requestres = reque...
2020-03-16 22:01:29
133
原创 htttp协议和chrome抓包工具
HTTP协议和HTTPS协议HTTP协议，中文意思是超文本传输协议，是一种发布和接收HTML页面的方法，服务器端口是80端口。HTTPS协议是HTTP协议的加密版本，在HTTP下加入了SSL层。服务器端口是443端口。URL解析URL是Uniform Resource Locator的简写，统一资源定位符。常用的请求方法在http协议中，定义了八种请求方法。这里介绍两种常用的请求...
2020-03-16 21:19:52
809
原创 网络爬虫概述
网络爬虫了解爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页，并把数据抓取下来，然后使用一定的规则提取有价值的数据。实际例子：搜索引擎(谷歌、百度等)通用爬虫和聚焦爬虫通用爬虫是搜索引擎系统的重要组成部分，主要将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。聚焦爬虫是面向特定需求的一种爬虫程序，与通用爬虫的区别在于，聚焦爬虫在实施网页抓取的时候会对内容进行筛选和处理...
2020-03-16 10:39:29
376
原创 python3函数
函数把具有独立功能的代码块组织一个小模块，在需要的时候调用函数使用包含两个步骤：1.定义函数（封装独立功能）2.调用函数（享受封装成果）函数的作用：在开发程序时，使用函数可以提高编写的效率以及代码的重用函数定义 def 函数名() 函数封装的代码def是define的缩写函数调用函数名()跳转找源：ctrl+鼠标左键，点击要找的函数文档注释给函数添加注释应在定义...
2020-02-11 21:57:01
102
原创 python3变量与文件操作
变量定义变量：变量名 = 存储变量中的值变量类型数字型：整型，浮点型，布尔型，复数型非数字型：字符串，列表，元组，字典python中定义变量不需要指定类型变量命名规则在定义变量时，为保证代码格式，=两边加空格变量名由多个单词组成，可以用下划线（first_name）或驼峰命名法（小驼峰：firstName 大驼峰：FirstName）注：python中的标识符不区分大小写...
2020-01-20 10:19:10
548
原创 python3分支与循环
分支Python 条件语句是通过一条或多条语句的执行结果（True 或者 False）来决定执行的代码块分支语句单路分支：if a = 1: print(a)两路分支：if a = 1: print(a)else: print("a!=1")多路分支if a = 1: print(a)elif a = 2: print(a)else: print...
2020-01-19 11:00:47
184
原创 python3基本数据类型（四）----字典与集合
字典字典是另一种可变容器模型，且可存储任意类型对象字典的每个键值(key=>value)对用冒号(:)分割，每个对之间用逗号(,)分割，整个字典包括在花括号({})中键必须是唯一的，但值则不必值可以取任何数据类型，但键必须是不可变的，如字符串，数字或元组定义字典：字典名 = {}字典常用操作操作描述dict.clear()删除字典内所有元素dic...
2020-01-19 10:21:05
205
原创 python3基本数据类型（三）----列表与元组
列表Python中最基本的数据结构。序列中的每个元素都分配一个数字 - 它的位置，或索引，第一个索引是0，第二个索引是1，依此类推
2020-01-19 09:46:43
168
原创 python3基本数据类型（二）----字符串与切片
字符串在python中可以使用 ’ 、" 、’’'定义一个字符串字符串就是一串字符，索引计数从0开始，如果内部要用 " ,就用 ’ 定义，反之亦然遍历字符串(可获取字符串的每一个字符)for i in String:pass字符串常用操作判断类型操作描述string.isspace()如果string中只包含空格，则返回truestring.isalph...
2020-01-17 10:17:48
123
原创 python3基本数据类型(一)----数字与字符串
标准数据类型Python3 中有六个标准的数据类型：Number（数字）String（字符串）List（列表）Tuple（元组）Set（集合）Dictionary（字典）用户输入：input() 输出的内容默认为字符串数据类型转换： 数据类型（要转换的数据）查看数据类型：type(数据)不可变数据（3 个）：Number（数字）、String（字符串）、Tuple（元组）；...
2020-01-16 10:02:45
214
原创 python3运算符
python运算符Python语言支持以下类型的运算符:算术运算符比较（关系）运算符赋值运算符逻辑运算符成员运算符身份运算符算术运算符运算符描述实例+加10+20=30-减20-10=10*乘10*20=200/除10/20=0.5//取整9//2=4%取余9%2=1**幂2**3=8优先...
2020-01-15 11:09:29
121
原创 Python3入门了解
解释器编译型语言：程序执行前专门的编译过程，执行效率高，依赖编译器，跨平台性差解释型语言：程序不进行预先编译，将代码一句一句运行，执行时必须先解释在运行编译型语言执行后人看不懂，计算机东，解释器语言执行后就是源文件，人可读，易懂，解释型语言相比编译型语言效率低，跨平台性更好python是一种解释型语言python特点python是一门完全面向对象的语言python拥有一个强大的...
2020-01-15 10:30:02
128
原创 Pycharm3安装步骤
下载去Pycharm官网（http://www.jetbrains.com/pycharm/download/#section=windows），下载PyCharm安装包，根据自己电脑的操作系统进行选择安装步骤开始安装next下一步切换路径，最好不要放C盘勾选环境变量和创建快捷方式点击安装完成后打开默认点OK然后点右下角使用...
2019-12-02 14:10:56
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人