- 博客(5)
- 收藏
- 关注
原创 python常用的爬虫模块及使用方法
Python的urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。他们两个最显着的差异如下:urllib2可以接受一个Request对象,并以此可以来设置一个URL的headers,但是urllib只接收一个URL。这意味着,你不能伪装你的用户代理字符串等。 urllib模块可以提供进行urlencode的方法,该方法用于GET查询字符串的生成,urllib2的不具有这样的功能。这就是urllib与urllib2经常在一起使用的原因。常用的方法urllib2.urlo
2020-10-24 22:03:51
209
原创 Python爬虫入门——爬虫实例
目录开发爬虫的步骤:实例开发与踩坑总结踩坑总结:开发实例:开发过程:第一步,获取目标数据第二步,分析数据加载流程第三步、下载数据第四步、清洗数据第五步、数据持久化写在最前:特别鸣谢 全书网 给了爬虫少年一个入门的机会,练习的时候,爬了好几个网站,都在中间被封了,导致中途代码报废,只能重新找网站重构代码从头做起。 感谢B站UP主 python学习者 的教学视频。本文就是在他的视频指导下完成的浅淡爬虫: 这次学习爬虫,个人认为,爬虫的过程像是我们通过手动访问网页,找到我们
2020-10-24 22:02:04
116
原创 Python 网络爬虫的常用库汇总及应用
Python 网络爬虫的常用库汇总爬虫的编程语言有不少,但 Python 绝对是其中的主流之一。今天就为大家介绍下 Python 在编写网络爬虫常常用到的一些库。请求库:实现 HTTP 请求操作urllib:一系列用于操作URL的功能。requests:基于 urllib 编写的,阻塞式 HTTP 请求库,发出一个请求,一直等待服务器响应后,程序才能进行下一步处理。selenium:自动化测试工具。一个调用浏览器的 driver,通过这个库你可以直接调用浏览器完成某些操作,比如输入验证码。
2020-10-24 21:56:59
886
2
原创 Python3.8中模块用途详细解说(持续更新)
一、requests模块该模块引用办法:import requests用途:主要用来请求数据举例:import requests #引入模块url='http://www.a.com' 定义url变量headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'} #伪装浏览器h
2020-05-18 18:07:27
729
原创 把Python2的代码复制到Python3中错误解决办法一
现在码友们用的Python基本都是python3了,但是最近看到到很多网友把Python2的代码复制到Python3中,程序执行不了,下面为大家讲解如何解决。 错误提示一、 在Python2中打印命令格式:print 'hello world'; 在Python3中应改为: print('hello world'); 错误提示二、import sysreload(sys)sys.setdefaultencoding("utf-8") 提示: Traceback (most r...
2020-05-18 17:47:03
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人