![](https://img-blog.csdnimg.cn/20200127095147268.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
python爬虫
python爬虫相关知识
YOUNGBC
这个作者很懒,什么都没留下…
展开
-
python爬虫-利用selenium爬取淘宝美食
from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium...原创 2020-02-02 10:52:21 · 326 阅读 · 1 评论 -
python-selenium库详解
python-selenium库详解Selenium 是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击、下拉等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说,此种抓取方式非常有效。1.selenium库的安装pip3 install selenium2.selenium库的基本用法1)声明浏览器对象...原创 2020-01-30 11:12:28 · 1195 阅读 · 0 评论 -
python爬虫-PyQuery详解
python爬虫-PyQuery详解Python爬虫解析库,主流的有PyQueryBeautifulsoupScrapy Selectors正则表达式。PyQuery和scrapy Selectors都是基于lxml模块,而lxml和正则表达式都是C语言写的。Beautifulsoup是用纯Python编写的。正则表达式的构造稍微复杂一点,一般在结构化的网页中易出错。我们声明...原创 2020-01-27 21:10:16 · 686 阅读 · 0 评论 -
python爬虫-利用requests库爬取猫眼电影top100
利用requests 库来抓取猫眼电影 TOPl100 的相关内容。目标站点:https://maoyan.com/board/41.抓取首页定义get_one_page方法,并给他传入url参数注意:猫眼电影网站有反爬虫措施,设置headers后可以爬取import requestsheaders = { 'Content-Type': 'text/plain; chars...原创 2020-01-27 11:56:14 · 3801 阅读 · 0 评论 -
python3-Request库详解
python3-Request库详解通过urllib 的基本用法,但是其中确实有不方便的地方,比如处理网页验证和 Cookies 时,需要写 Opener 和 Handler来处理。 为了更加方便地实现这些操作,就有了更为强大的库 requests1.requests库简介1.1 requests库的安装在命令行界面中运行如下命令, 即可完成 requests 库的安装:pip3 in...原创 2020-01-26 20:32:04 · 3683 阅读 · 0 评论 -
python3-urllib库详解
python3-urllib库详解1.Urllib简介1.1什么是Urlliburllib 是 Python 标准库中用于网络请求的库。该库有四个模块,分别是:urllib.request 请求模块urllib.error 异常处理模块urllib.parse 解析模块urllib.robotparser robots.txt解析模块原创 2020-01-26 17:39:20 · 579 阅读 · 0 评论