- 博客(21)
- 收藏
- 关注
RSS订阅原创 爬取图片懒加载页面
文章目录1.什么是懒加载2.为什么要使用懒加载3.如何爬取图片懒加载的网站3.1 分析爬虫页面, 指定爬取流程3.2 编写爬虫的代码4.总结在带大家爬取图片懒加载页面之前, 先为大家介绍一下什么是图片懒加载, 懒加载有什么用, 在理解原理后再去爬取, 相信就会简单多了。1.什么是懒加载在一些网站或者app上会看到 鼠标或手势过快，而图片没有加载出来由色块或其他图片代替的情况，当图片出现在我们...
2019-08-21 01:09:52
3760
1
原创 使用selenium抓取动态加载页面
文章目录1.使用selenium抓取动态图片2.使用selenium抓取动态数据2.1 分析爬虫页面, 制定爬虫的流程2.2 编写爬虫代码, 进行页面爬取3.总结本章节将带大家使用selenium抓取一些动态加载的页面, 让大家体会到selenium的好用之处1.使用selenium抓取动态图片本次抓取的图片是百度图片中关于安琪拉的相关图片import timeimport reques...
2019-08-20 01:04:32
6163
1
原创 selenium与谷歌无头浏览器的应用
文章目录1.selenium的介绍2.selenium的安装3.selenium常用操作3.1 测试一下你的selenium3.2 获取页面元素3.3 节点交互操作3.4 获取网页的数据3.5 子页面4.使用selenium模拟登录qq空间5.谷歌无头浏览器1.selenium的介绍selenium是一个web自动化测试用的框架. 程序员可以通过代码实现对浏览器的控制, 比如打开网页, 点击...
2019-08-19 23:14:58
1113
原创 BeautifulSoup库的使用
文章目录一.BeautifulSoup库的介绍二.BeautifulSoup库的使用方法三.BeautifulSoup库的语法四.爬取数据, 并使用BeautifulSoup解析1).分析页面, 制定爬虫的流程2).编写爬虫的代码并解析数据五.总结一.BeautifulSoup库的介绍BeautifulSoup也是一个解析库BS解析数据是依赖解析器的, BS支持的解析器有html.pars...
2019-08-18 15:54:59
225
原创 requests高阶用法
文章目录一.requests上传文件操作二.会话维持: Session对象三.设置超时时间四.Prepare Request一.requests上传文件操作import requestsfiles = {'file': open('filename', 'rb')}res = requests.post(url=url, files=files)二.会话维持: Session对象fr...
2019-08-18 14:49:52
169
原创 xpath与requests的使用
文章目录一.requests的使用二.xpath解析库的安装与使用三.使用requests爬取网站四.总结一.requests的使用在上篇文章中给大家演示了一下使用urllib模块中的request爬取豆瓣电影, 相信大家练习过后都会觉得很简单, 今天带大家开始使用requests模块了, 关于requests的介绍与安装在上篇文章中已经有过描述, 这里就不再叙述了.requests的...
2019-08-13 23:49:50
791
原创 爬虫的起点
1.python有哪些网络库在真实浏览网页我们是通过鼠标点击网页然后由浏览器帮我们发起网络请求，那在Python中我们又如何发起网络请求的呢？答案当然是库，具体哪些库？下面将给大家列举出来:Python2: httplib、httplib2、urllib、urllib2、urllib3、requestsPython3: httplib2、urllib、urllib3、requests可...
2019-08-11 13:35:15
241
原创 python 函数
函数的定义及使用def 函数名 (): """ 这里写函数的注释 """ 这里写代码，如果是空的函数，用pass来占位结构# 调用函数函数名() 带参函数定义时，函数小括号里的参数称为是形参调用函数时，小括号里参数是实参def p(a, b): print(a, b)# 传参时，如果不传key，只给数据，就只和位置有关p(3...
2019-08-04 14:49:12
114
原创 python 集合与公共方法
集合介绍集合是无序的, 集合中的元素是唯一的, 集合一般用于元祖或者列表中的元素去重定义一个空集合set_1 = set()# 注意以下写法为一个空字典set_2 = {}添加元素(add, update)add set1 = {1, 2, 4, 5} # 添加元素 set1.add(8)update set1 = {1, 2, 4, 5} # 是把要传入的元素拆分，...
2019-08-04 12:04:16
246
原创 pip工具更新及解决No module named pip问题
pip更新指令:python -m pip install --upgrade pip输入运行后如果出现错误 “no module named pip”, 则运行以下指令:python -m ensurepipeasy_install pipeasy_install 和 pip 都是用来管理、下载安装公共资源库pypi的相关资源包,pip是easy_install的改进版...
2019-08-04 10:52:56
4245
2
原创 python中的字典
字典的介绍想一想：如果有列表nameList = [‘xiaoZhang’, ‘xiaoWang’, ‘xiaoLi’]需要对"xiaoWang"这个名字写错了，通过代码修改：nameList[1] = ‘xiaoxiaoWang’如果列表的顺序发生了变化，如下nameList = [‘xiaoWang’, ‘xiaoZhang’, ‘xiaoLi’]此时就需要修改下标，才能完成...
2019-08-04 10:46:47
241
原创 python的环境无法卸载解决方案
不知道大家有没有遇到过卸载python环境时提示检测不到安装的包,如下图的情况那么今天教大家如何解决这个问题1.找到python文件夹具体所在的位置,将文件夹删除2.打开控制面板>> 卸载程序，找到python，右键点击更改(如果能找到当时安装的包也可以点击包)3.点击Repair （Uninstall的上一个选项)4.修复之后，还要打开之前开的控制面板>> 卸...
2019-06-07 21:20:47
12679
4
原创 python中的元祖
元祖的介绍python的元祖与列表类似,不同之处在于元祖的元素不能修改.元祖使用小括号,列表使用方括号元祖的关键字:tuple (塔泡)a_tuple = (1, 3, 5, 9)print(a_tuple[0])print(a_tuple[1])print(a_tuple[2])print(a_tuple[3])修改(错误演示):a_tuple = (1, 3, 5, 9...
2019-05-12 22:29:17
1300
原创 列表的拓展操作
排序sort方法是将list按照特定顺序重新排列,默认为由小到大,参数reverse=True可改为倒序,由大到小my_list = [1, 2, 5, 9, 3, 6]my_list.sort()print(my_list) # 输出排序之后的列表在排序时sort()括号内默认为reverse=False,是升序,可以通过添加reverse=True,将升序改为降序revers...
2019-05-04 23:27:49
378
原创 列表的增删改查
想一想:前面学习的字符串可以用来存储一串信息,那么想一想,怎样存储一个班级的同学呢?定义100个变量,每一个变量存放一个学生的名字可行吗?有更好的办法吗?答:列表列表的介绍列表的格式:nameList = [‘xiaoWang’, ‘xiaoZhang’, 5]其实列表就类似于C语言中的数组,不过列表比数组强大的地方在于列表中的元素可以是不同类型的列表的遍历demo01:nameL...
2019-05-03 23:04:26
1087
原创 python的字符串操作(二)
本文章为笔者原创,未经允许不得转载当然也欢迎大家多多宣传,我会努力发布更好的文章分享给大家今天是把昨天字符串剩余的操作补全给大家方法10：lower()方法说明:将mystr中的大写字母转换为小写格式:mystr.lower()my_str = "hello world HELLO PYTHON"print(my_str) # 输出原本的内容print("-----分隔符---...
2019-05-02 13:31:17
382
原创 python的字符串操作(一)
本文章为笔者原创,未经允许不得转载欢迎大家多多宣传,我会努力发布更好的文章分享给大家字符串的介绍a = 100 # 整型b = "hello world hello python" # 字符串c = 'hello world hello python' # 字符串总结:双引号或者单引号中的数据,就是字符串字符串的输出name = "baobao"print...
2019-05-01 22:50:41
270
原创 python的循环
本文章为笔者原创,未经允许不得转载欢迎大家多多宣传,我会努力发布更好的文章分享给大家循环语句在学习循环语句之前先给大家看一下循环语句的思维导图:循环的介绍生活中的循环场景：平常学校的操场跑道,或者说风扇等等…while循环# 格式:while 条件: 条件满足时,做的事情 ...i = 1while i < 5: print("当前是第%d次循环" % i) ...
2019-04-30 22:32:04
223
原创 python之判断语句
本文章为笔者原创,未经允许不得转载欢迎大家多多宣传,我会努力发布更好的文章分享给大家判断语句在学习判断语句之前给大家看一张关于判断语句的思维导图生活中经常会有一些判断,例如在坐火车时对于车票的一个判断，亦或是对于输入账号密码...
2019-04-29 23:21:46
495
原创 python中的变量及数据类型
变量的定义变量:就是用来存储数据的,在python中,存储数据需要变量来存放如果有多个数据,那么就可以使用多个变量来存储变量的类型如何查看变量的数据类型a = 10type(a) # 在这里是在交互模式演示的输出: <class 'int'>name = "python"输出: <class 'str'>标识符什么是标识符?标识符是开发人员在程...
2019-04-28 23:13:20
555
原创 计算机发展与python发展
计算机发展史简介计算机(computer)俗称电脑,是一种用于高速计算的电子计算机器,可以进行数值计算,又可以进行逻辑计算,还具有存储记忆功能.计算机是一种能够存储程序,并能按照程序自动、高速、精确的进行大量计算和信息处理的电子设备分类计算机可分为超级计算机、工业控制计算机、网络计算机、个人计算机、嵌入式计算机五类,目前比较先进的计算机有生物计算机、光子计算机、量子计算机等诞生...
2019-04-27 15:56:14
389
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人