python
文章平均质量分 91
即使再小的船也能远航
邮箱:1121964082@qq.com
vx:1121964082
展开
-
【爬虫】5.5 Selenium 爬取Ajax网页数据
AJAX 简介任务目标现在的网页中大量使用了Ajax技术,通过JavaScript在客户端向服务器发出请求,服务器返回数据给客户端,客户端再把数据展现出来,这样做可以减少网页的闪动, 让用户有更好的体验。我们先设计一个这样的网页,然后使用 Selenium 编写爬虫程序爬取网页的数据。创建Ajax网站创建服务器程序编写爬虫程序原创 2023-08-29 15:48:22 · 2460 阅读 · 0 评论 -
【爬虫】4.3 Scrapy 爬取与存储数据
在这个程序中采用文件存储爬取的数据,BookPipeline 类中先定义一个类成员count=0,用它来记录process_item调用的次数。如果是第一次调用(count=1)那么就使用语句fobj=open("books.txt","原创 2023-06-12 15:29:54 · 2822 阅读 · 0 评论 -
【爬虫】4.2 Scrapy 中查找 html 元素
Xpath简介1. Scrapy 的 Xpath 简介(1)使用xpath查找HTML中的元素2. Xpath 查找 html 元素(2)"//"与"/"的使用(3)使用"."进行Xpath连续调用(4)extract与extract_first函数使用(5)获取元素属性值(6)获取节点的文本值(7)多个文本节点值(8)使用condition限定tag元素(9)使用position()序号来确定所选择的元素使用"*"代表任何element元素,不包括Text、Comment的结点原创 2023-06-11 19:02:49 · 2652 阅读 · 0 评论