![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 65
lizhaozhaozhaoxuan
这个作者很懒,什么都没留下…
展开
-
用selenium爬取百度新闻
# -*- coding: UTF-8 -*- from selenium.common.exceptions import TimeoutException, NoSuchElementException, WebDriverException from selenium.webdriver.common.by import By from selenium.webdriver.support ...原创 2018-06-02 19:28:42 · 2853 阅读 · 0 评论 -
Scray学习(一):Scrapy框架初探和安装
Scrapy简介 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。...转载 2018-11-25 10:08:07 · 218 阅读 · 0 评论 -
Scrapy学习(二):Xpath使用与并行化操作
一、xpath介绍 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。 XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准,支持HTML 节点 在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、...转载 2018-11-25 11:38:30 · 390 阅读 · 0 评论 -
Scrapy学习(三) 创建Scrapy程序并运行
一、创建Scrapy文件 1.创建工程 #在命令行下输入 scrapy startproject +你的工程名 scrapy startproject douban 2.创建爬虫程序 #cd 目录名 #scrapy genspider 名字 网址 #这里有个大坑,目录名和项目名不能一样,否则会报错以后若遇到,要改为相对路径导入 cd douban scrapy genspider...原创 2018-11-25 15:26:53 · 765 阅读 · 0 评论