- 博客(5)
- 收藏
- 关注
RSS订阅原创 python常用的爬虫模块及使用方法
Python的urllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。他们两个最显着的差异如下：urllib2可以接受一个Request对象，并以此可以来设置一个URL的headers，但是urllib只接收一个URL。这意味着，你不能伪装你的用户代理字符串等。 urllib模块可以提供进行urlencode的方法，该方法用于GET查询字符串的生成，urllib2的不具有这样的功能。这就是urllib与urllib2经常在一起使用的原因。常用的方法urllib2.urlo
2020-10-24 22:03:51
209
原创 Python爬虫入门——爬虫实例
目录开发爬虫的步骤：实例开发与踩坑总结踩坑总结：开发实例：开发过程：第一步，获取目标数据第二步，分析数据加载流程第三步、下载数据第四步、清洗数据第五步、数据持久化写在最前：特别鸣谢 全书网 给了爬虫少年一个入门的机会，练习的时候，爬了好几个网站，都在中间被封了，导致中途代码报废，只能重新找网站重构代码从头做起。 感谢B站UP主 python学习者 的教学视频。本文就是在他的视频指导下完成的浅淡爬虫： 这次学习爬虫，个人认为，爬虫的过程像是我们通过手动访问网页，找到我们
2020-10-24 22:02:04
116
原创 Python 网络爬虫的常用库汇总及应用
Python 网络爬虫的常用库汇总爬虫的编程语言有不少，但 Python 绝对是其中的主流之一。今天就为大家介绍下 Python 在编写网络爬虫常常用到的一些库。请求库：实现 HTTP 请求操作urllib：一系列用于操作URL的功能。requests：基于 urllib 编写的，阻塞式 HTTP 请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。selenium：自动化测试工具。一个调用浏览器的 driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。
2020-10-24 21:56:59
886
2
原创 Python3.8中模块用途详细解说（持续更新）
一、requests模块该模块引用办法：import requests用途：主要用来请求数据举例：import requests #引入模块url='http://www.a.com' 定义url变量headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'} #伪装浏览器h
2020-05-18 18:07:27
729
原创 把Python2的代码复制到Python3中错误解决办法一
现在码友们用的Python基本都是python3了，但是最近看到到很多网友把Python2的代码复制到Python3中，程序执行不了，下面为大家讲解如何解决。 错误提示一、 在Python2中打印命令格式：print 'hello world'； 在Python3中应改为： print('hello world')； 错误提示二、import sysreload(sys)sys.setdefaultencoding("utf-8") 提示： Traceback (most r...
2020-05-18 17:47:03
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人