1分钟轻松爬数据(web scraper插件使用教程)

1分钟轻松爬数据(web scraper插件使用教程)

前提你已安装web scraper(Google,FireBox商店都有)。
说明:安装后右键查看元素或检查即可看到web scraper,简介如图.
在这里插入图片描述 刚开始只能点第一个(显示你自己建的要爬的所有网站)和第三个(可以创建或导入)
(导入可以查看网站http://www.iwebscraper.com/category/%e6%a8%a1%e6%9d%bf/)

  1. 建一个sitemap
    在这里插入图片描述

  2. 建好后点击你建的sitemap就可以创建你要抓去的数据了
    在这里插入图片描述在这里插入图片描述在这里插入图片描述 3. 这个时候创建一个获取所有元素。
    在这里插入图片描述在这里插入图片描述选择元素
    在这里插入图片描述在这里插入图片描述
    后面就可以创建需要的数据了。我只写一个
    在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
    这就完了。
    最简单就是导入
    例子

{"_id":"keepallcourses","startUrl":["https://www.gotokeep.com/all_courses/"],"selectors":[{"id":"element","type":"SelectorElementScroll","parentSelectors":["_root"],"selector":"li","multiple":true,"delay":"2000"},{"id":"name","type":"SelectorText","parentSelectors":["element"],"selector":"div.name","multiple":false,"regex":"","delay":0},{"id":"classnumber","type":"SelectorText","parentSelectors":["element"],"selector":"span:nth-of-type(1)","multiple":false,"regex":"","delay":0},{"id":"bodypart","type":"SelectorText","parentSelectors":["element"],"selector":"span:nth-of-type(2)","multiple":false,"regex":"","delay":0},{"id":"difficult","type":"SelectorText","parentSelectors":["element"],"selector":"div.level","multiple":false,"regex":"","delay":0},{"id":"apparatus","type":"SelectorText","parentSelectors":["element"],"selector":"div.equipment","multiple":false,"regex":"","delay":0},{"id":"trainnumber","type":"SelectorText","parentSelectors":["element"],"selector":"div.pioneer","multiple":false,"regex":"","delay":0}]}

在这里插入图片描述在这里插入图片描述》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》
第一次写就这这样吧!
有关webscraper的问题,看这个就够了https://www.jianshu.com/p/cd5124ac0871
web scraper 抓取分页数据和二级页面内容https://www.cnblogs.com/fengzheng/p/9328481.html

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值