![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 95
若非月前即花下
这个作者很懒,什么都没留下…
展开
-
用Python写爬虫之selenium大法
1 什么是selenium?selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,但是我们可以将其用在爬虫开发上,通过自动操作浏览器,实现数据的获取。Selenium 自己不带浏览器,不支持浏览器的功能,它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行,所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。2 安装seleniumpip install selenium3 安装浏览器驱动推荐使用FireFox和Chrome。这里原创 2021-11-21 19:08:42 · 2986 阅读 · 2 评论 -
当python遇上echarts(一)了解基本知识
pyecharts一、简介Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而 Python 是一门富有表达力的语言,很适合用于数据处理。当数据分析遇上数据可视化时,pyecharts 诞生了。简单来说,pyecharts就是echarts的python接口,方便python用户开发。当然,精通Html,JavaScript的同学,可以直接使用echarts。二、优势python中,有很多的可视化模块,比如matplotlib,seaborn原创 2021-02-17 13:56:17 · 17198 阅读 · 3 评论 -
用python写爬虫 (二)爬虫的工作过程及合法性
爬虫的工作过程上一节讲述了爬虫的相关概述,我们大概了解了什么是爬虫,爬虫是用来做什么的。这一节,我们一起来看看爬虫是怎么样实现的,工作流程是怎么样的。首先,通过一组问答进一步明晰爬虫相关的知识。闪闪:spider你好,请问你是从哪获取数据的呢?spider:网页,准确来说,是从服务器获取的。闪闪:此话怎讲?spider:其实我就是扮演了浏览器的角色,模拟请求,接受响应。这样子讲可能有点抽象,容我细细道来。1、浏览器的工作原理客户端就是我们的电脑。服务器是存储我们所需要的信息的超级电脑。原创 2020-12-26 13:16:16 · 499 阅读 · 0 评论 -
用python写爬虫(一)初识爬虫
什么是爬虫爬虫是一种按照一定的规则自动的抓取网络信息的程序或脚本。简单来说,爬虫时根据一定的算法实现编程开发,主要通过URL实现数据的爬取和发掘。为什么需要爬虫爬虫的分类网络爬虫根据系统结构和开发技术大致可以分为四种类型:通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。通用网络爬虫通用爬虫又称为全网爬虫,也就是常说的搜索引擎,常见的有百度,Google,必应等搜索引擎,爬行对象从一些初始URL扩充到整个网站。我们用搜索引擎获取信息时,就是用到了爬虫,那么既然已经有了爬虫,还是百原创 2020-12-25 22:58:20 · 519 阅读 · 0 评论