python学习之路
文章平均质量分 78
内包含所有python学习的知识点,从零基础开始,直到成为一名合格的python开发工程师
一二三四!
认真总结,脚踏实地。
python 爬虫 -> python自动化测试
展开
-
Python入门技能树评测(用户体验)
1、缺少数据处理方面(pandas、numpy)2、缺少对excel处理方面(xlrd)3、简单画图(matplotlib)个人感觉比较实用,可以提高工作效率1、一个知识点可以增加章节测试类考试,一个题过于简单,覆盖面不全。2、多个题型,选择题过多。3、增加打卡激励,提高用户兴趣。1、按钮类组件不太突出,不能轻松认定为可点击组件。2、颜色单调,无感。1、可以像游戏一样,增加排位赛,对战答题。2、可定期举行比赛。1、知识较全,但每个部分不是很详细。2、互动方面较少。1、想办法增加用户兴趣(奖励、游戏制)2、可原创 2022-06-08 17:06:32 · 1373 阅读 · 2 评论 -
python+selenium面试题
selenium中如何判断元素是否存在?selenium中没有提供原生的方法判断元素是否存在,一般我们可以通过定位元素+异常捕获的方式判断。# 判断元素是否存在try: dr.find_element_by_id('none')except NoSuchElementException: print 'element does not exist'selenium中hidden或者是display = none的元素是否可以定位到?不可以,selenium不能定位不可见的元素。d原创 2020-12-25 10:07:52 · 12086 阅读 · 0 评论 -
看一下MySQL索引类型
一、简介MySQL目前主要有以下几种索引类型:1.普通索引2.唯一索引3.主键索引4.组合索引5.全文索引二、语句CREATE TABLE table_name[col_name data type][unique|fulltext][index|key][index_name](col_name[length])[asc|desc]1.unique|fulltext为可选参数,分别表示唯一索引、全文索引2.index和key为同义词,两者作用相同,用来指定创建索引3.co原创 2020-10-14 15:51:58 · 13048 阅读 · 0 评论 -
scrapy工作流程描述(python)
scrapy工作流程 engine向spider请求第一个url spider向engine发送 engine让scheduler对request排序 scheduler将排序后的request返给engine engine让downloader下载request downloader下载好将response传给engine engine将response交给spider去处理 spider处理后得到需继续跟进的url,还有..原创 2020-10-13 09:59:24 · 6970 阅读 · 0 评论 -
爬虫面试python
1. 什么是爬虫网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。2. 什么是URLURL,即统一资源定位符,也就是我们说的网址,统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的 URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。3. Scrapy的优缺点 优点:scrapy 是异步的, 对于固定单个网站原创 2020-09-27 12:07:26 · 7794 阅读 · 0 评论 -
爬虫做了两年了,往哪个方向发展一下比较好?【欢迎投稿】
1、开发2、数据分析3、自动化测试4、人工智能原创 2020-09-18 10:40:09 · 6534 阅读 · 0 评论 -
scrapy常用配置
scrapy常用配置一.基本配置1.项目名称2.爬虫应用路径SPIDER_MODULES = ['Amazon.spiders']NEWSPIDER_MODULE = 'Amazon.spiders'3.客户端User-Agent请求头USER_AGENT = 'Amazon (+http://www.yourdomain.com)'4.是否遵循爬虫协议ROBOTSTXT_OBEY = False5.是否支持cookie,cookiejar进行操作cookieCOO原创 2020-07-24 14:29:26 · 7773 阅读 · 0 评论 -
xpath解析网页,获取父节点、兄弟节点
<body> <div id="1">我是第1个div标签</div > <p>我是p标签</p> <div id="2">我是第2个div标签</div > <div id="3">我是第3个div标签</div > <div id="4">我是第4个div标签</div > <p>我是p标签</p>...原创 2020-07-21 18:01:43 · 5985 阅读 · 0 评论 -
pip install 安装太慢!pip国内源!
国内源:新版ubuntu要求使用https源,要注意。清华:https://pypi.tuna.tsinghua.edu.cn/simple阿里云:http://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/华中理工大学:http://pypi.hustunique.com/山东理工大学:http://pypi.sdutlinux.org/豆瓣:http://pypi..原创 2020-05-21 15:07:29 · 4014 阅读 · 0 评论 -
抓取问题:遇到这样的乱码你怎么还原
%3Cdiv%20class%3D%22dqwz%22%3E%u5F53%u524D%u4F4D%u7F6E%uFF1A%u9996%u9875%u653F%u5E9C%u4FE1%u606Fhtml = parse.unquote(response.text).replace('%','\\').encode().decode('unicode-escape')原创 2020-02-07 17:24:07 · 19262 阅读 · 0 评论 -
爬虫,被重定向玩了?你要这么办!
requests.get(url, allow_redirects=false)原创 2019-10-15 17:52:09 · 3189 阅读 · 1 评论 -
教你一招!mongodb已存入数据,想去重,这么办!
第一步:将数据导出为JSON格式存档: (cmd中直接运行)mongoexport -d database_name -c collection_name -o e:/filename.json第二步:清空数据:db.yourcollection.remove({})第三步:新建唯一索引:db.yourcollection.createIndex({info_l...原创 2019-10-15 12:13:35 · 2316 阅读 · 0 评论 -
python死锁、队列、生产者和消费者模式、协程
一、死锁在多个线程共享资源的时候,如果两个线程分别占有一部分资源,并且同时等待对方的资源,就会造成死锁现象。如果锁之间相互嵌套,就有可能出现死锁。因此尽量不要出现锁之间的嵌套。import threadingimport timedef test1(): l1.acquire() print('test1..') time.sleep(1) l2...原创 2019-01-22 21:48:17 · 410 阅读 · 0 评论 -
python进程、线程、互斥锁
目录一、操作系统二、多任务三、进程1. 什么是进程 2.创建多进程3.进程的状态4.进程之间的通讯5.进程池四、线程1.线程概念2.进程和线程之间的关系3.使用threading模块创建线程4.使用继承方式开启线程5.线程之间共享全局变量6.共享全局变量的问题7.同步异步概念8.互斥锁 一、操作系统为什...原创 2019-01-21 19:22:38 · 684 阅读 · 0 评论 -
网络编程(python)
目录引入网络编程软件开发架构1、客户端服务端概念2、C/S架构3、B/S架构计算机网络1、网络协议(TCP/IP协议族)2、TCP协议3、UDP协议4、TCP和UDP的对比5、OSI模型五、Socket概念1、理解Socket2、Socket 发展史一、基于文件型二、基于网络型三、socket参数详解四、基于TCP协议的...原创 2019-01-18 18:55:08 · 575 阅读 · 0 评论 -
python设计模式---单例模式、工厂模式、策略模式
目录前言:一、单例模式二、工厂模式 三、策略模式 前言:设计模式来源于建筑行业,中西方建筑各有自己的风格;每种风格都有自己的建筑方法(套 路);只要按照不同风格的建筑方法(套路)就能建成不同风格的建筑;简单的说设计模式就是一种(方法)套路;再比如肯德基麦当劳快餐店为什么全球的口味都一样呢?就是做食品的套路相同(炸鸡块多长时间都是固定的)。程序中设计模式是软件开发人员在软...原创 2019-01-17 19:13:29 · 865 阅读 · 0 评论 -
python生成器
生成器目录 生成器一、生成器函数二、 send() 三、yield form四、生成器表达式五、生成器作用 生成器的本质就是迭代器。生成器包括两种:生成器函数和生成器表达式一、生...原创 2019-01-17 18:55:37 · 6659 阅读 · 0 评论 -
python类的常用函数、反射、迭代器
目录一、类的常用函数1、issubclass()2、isinstance()3、反射方法hasattr()setattr()delattr()1.反射导入模块中的属性、函数、类2.反射自己模块中的属性和函数3.反射内置模块三、迭代器1.什么是迭代器一、类的常用函数1、issubclass()检测一个类是否是另外一个类的子类格式1:is...原创 2019-01-16 22:36:06 · 341 阅读 · 0 评论 -
python魔术方法---__del__、__call__、__repr__、__new__等
目录一、常用魔术方法1.__del__2.__call__3.__repr__4.__new__5.Python中的比较is和 ==6.__hash__一、常用魔术方法1.__del__销毁魔术方法触发时机:当一个对象在内存中被销毁的时候自动执行参数:至少有一个self,接收对象返回值:无作用:在对象销毁的时候做一些操作注意:程序自动调用...原创 2019-01-16 19:43:24 · 1138 阅读 · 0 评论 -
python继承、多态---子类和父类、super()、派生、抽象类、多继承、多态特性
目录一、继承特性1.什么是继承?2.继承中子类和父类的概念3.继承的作用4. 查看继承的父类5.方法的复写6.super()7.__init__()方法8.派生属性9.私有属性私有方法在继承中的表现10.抽象类二、多继承1、语法3、继承原理(钻石继承)4、多继承中super本质三、多态特性一、继承特性1.什么是继...原创 2019-01-15 20:58:00 · 8430 阅读 · 6 评论 -
python实例方法、类方法和静态方法
目录一、实例方法(也叫对象方法)二、静态方法三、类方法一、实例方法(也叫对象方法)实例方法或者叫对象方法,指的是我们在类中定义的普通方法。只有实例化对象之后才可以使用的方法,该方法的第一个形参接收的一定是对象本身!class Dog(): def eat(self): print('吃骨头。。。')二、静态方法(1).格式:在方法上面...原创 2019-01-15 18:54:55 · 442 阅读 · 0 评论 -
python面向对象——类属性和实例属性、封装、装饰器
目录一、类属性和实例属性二、封装特性1.什么是封装2.私有属性3.私有方法 4.私有化封装后的限制三、装饰器四、@property装饰器一、类属性和实例属性实例属性:在实例对象中定义的属性类属性(静态属性):在类对象(也就是类)中定义的属性,并且多个实例对象之间共享一份类属性。类属性的使用方式:类名.类属性也可以使用 对象名.类属性注...原创 2019-01-14 20:11:10 · 538 阅读 · 0 评论 -
python面向对象基础相关知识点(self变量,__init__(),__str__())
目录一、面向对象编程二、面向对象和面向过程理解三、对象和类的相关概念1.类2.对象3.类和对象之间的关系4.类的设计四、定义一个简单的类(只包含方法)五、self 变量六、在类的外部增加属性七、__init__()方法利用参数设置初始值八、__str__()方法九、面向对象综合应用小练习一、面向对象编程面向对象编程(英语:Object...原创 2019-01-11 20:28:40 · 338 阅读 · 0 评论 -
python对文件的其他相关操作——os模块(创建删除目录、文件、获取路径)
目录 1.重命名文件---os.rename()2.删除文件---os.remove()3.创建目录---os.mkdir4.创建多级目录---os.makedirs()5.删除目录---os.rmdir()6.删除多级目录---os.removedirs()7.获取当前所在目录---os.getcwd()8.获取目录列表---os.listdir()9.切...原创 2019-01-10 21:00:25 · 2194 阅读 · 3 评论 -
python对文件的相关操作——读写文件、乱码问题
目录一.文件介绍1.什么是文件2.文件的分类3.文件的作用4.使用文件的流程二.读写文件简单操作1.读取文件2.写文件三.文件权限四.文件操作1.读操作 2.写操作 3.其他操作五.with 六.乱码 一.文件介绍1.什么是文件狭义说:文本文件;广义说:超文本文件, 图片,声音,超链接,视频。2.文件的分类文件大体上可...原创 2019-01-10 08:45:34 · 1431 阅读 · 0 评论 -
python包的相关知识点——包的导入、相对路径、绝对路径
目录一、包二、包的导入1.import 导入2.from...import...导入 3.__init__.py文件4.from 包.模块 import *三、包的相对和绝对导入 四、import 导入自定义包的子模块五、包的单独导入六、包的安装和发布一、包在我们的项目中,可能会有太多的模块但是我们不能把所有的模块这样放在这里,这样项目会乱七八糟...原创 2019-01-09 21:58:37 · 15526 阅读 · 0 评论 -
python模块相关知识点(random模块,sys模块,time模块)
目录1.模块的概念1.1模块的概念介绍1.2创建模块2.模块导入的原理2.1原理的介绍3.模块的导入方式3.1import模块名3.2import 模块 as 别名3.3一行导入多个模块3.4from ... import ...局部导入方式3.5from ... import ... as 别名3.6支持导入多行3.7from 模块 impor...原创 2019-01-08 19:17:59 · 1054 阅读 · 2 评论 -
python获取异常信息(try...)、raise抛出异常
目录 1.获取异常的信息描述2.捕获所有异常3.try...else...4.try...finally...5.raise抛出系统异常1.获取异常的信息描述格式:try : ...执行代码... ...执行代码...except 异常类型 as 变量名: ...执行异常... ...执行异常......原创 2019-01-08 18:05:39 · 14048 阅读 · 2 评论 -
python匿名函数、闭包、推导式和异常、捕获异常
目录 1. 匿名函数2. 闭包2.1Python创建闭包2.2判断闭包2.3Python中怎么创建闭包3. 推导式3.1 列表推导式3.2 字典推导式3.3 集合推导式4 异常简介5 捕获异常5.1 基本语法5.2 except捕获多个异常1. 匿名函数在定义函数的时候,不想给函数起一个名字。这个时候就可以用l...原创 2019-01-07 17:48:59 · 394 阅读 · 0 评论 -
python函数进阶_函数参数,函数嵌套,作用域,递归,内置函数
目录1.函数的参数1.1 位置参数1.2 关键字参数1.3 默认参数1.4 可变参数 2.函数的嵌套3.命名空间3.1名称空间的访问 3.2命名空间的加载顺序3.3命名空间的查找顺序4.作用域5.全局变量和局部变量6.global和nonlocal关键字7.命名空间和作用域的关系8.递归函数 9.内置函数1.abs()函数2....原创 2019-01-03 19:09:30 · 404 阅读 · 0 评论 -
python函数——函数的定义、调用、带参函数、返回值(return)
目录 一、函数的引入二、函数介绍三、函数的定义与调用1.定义函数和调用函数的语法# 创建一个say_hello函数 2. 函数说明(注释)四、定义带有参数的函数1.函数参数的类型 五、函数的返回值一、函数的引入在程序开始、中间、结束,输出'呵呵、哈哈、嘻嘻、嘿嘿'# 程序开始print('呵呵,哈哈,嘻嘻,嘿嘿')print('呵呵,哈哈,...原创 2019-01-03 18:49:12 · 4895 阅读 · 0 评论 -
python字典、集合——常用操作(增删改查)
目录1 字典1.1 python字典的概述1.2 python字典的定义1.3 字典的特点1.4 字典的常见操作2 python集合2.1 集合讲解1 字典1.1 python字典的概述字典是一个无序的,可以修改的,元素呈键值对的形式,以逗号分割的,以大括号包围的序列;字典是python基础数据类型当中唯一一个映射关系的数据类型;...原创 2019-01-02 08:55:12 · 1888 阅读 · 0 评论 -
python元组、列表——增删改查
目录1 python列表1.1 python列表的概述1.2 python列表的定义以及查看列表类型1.3 python列表的循环遍历1.4 列表的添加1.5 列表的删除1.6 列表的修改和查找1.7 列表的排序1.8 列表的深浅拷贝2 python元组的概述2.1创建元组和查看类型2.2 访问元组2.3 修改元组2.4 元组一个逗...原创 2018-12-28 19:25:08 · 14098 阅读 · 7 评论 -
python字符串的方法及编码介绍
目录1 python字符串的方法1.1 字符串的查找1.2 字符串的拆分1.3 字符串的替换1.4 字符串的修饰1.5 字符串的变形1.6 字符串的判断2 python字符串的编码1 python字符串的方法1.1 字符串的查找 字符串的查找 count 计数...原创 2018-12-27 18:55:47 · 545 阅读 · 0 评论 -
python字符串类型
目录python字符串类型python字符串的索引(index)python 字符串切片python字符串类型字符串是一个有序的,不可修改的,元素以引号包围的序列。python字符串的定义:双引号或者单引号中的数据,就是字符串字符串存储的另外一种方式:字符串和字符串之间可以相加。重新定义字符串,重新开辟内存地址 len()可以计算字符串的长度源码: ...原创 2018-12-26 19:06:22 · 794 阅读 · 0 评论 -
python运算、流程控制循环
目录1 python的运算1.1 布尔值(bool)2.1运算符2.1.1 算术运算符2.1.2 赋值运算2.1.3 复合赋值运算(自增运算)2.1.4 比较(关系)运算符2.1.5 逻辑运算符2 python流程控制介绍2.1顺序结构2.2分支结构(条件控制)2.2.2 if-else 判断2.2.3.elif 判断2.2.4 ...原创 2018-12-25 19:01:26 · 568 阅读 · 0 评论 -
python的概述和数据类型、常量、变量等基础知识
目录1 Python介绍1.1 Python语言介绍1.2 Python优缺点1.3 Python应用场景2 python脚本运行3 python数据类型3.1 数据类型3.2详细说明4 转义字符5 python注释5.1定义:5.2注释的分类:6 变量 7 常量 8 标示符8.1有效的Python标识符规...原创 2018-12-24 20:40:20 · 885 阅读 · 1 评论