Python 爬虫
文章平均质量分 73
无处安放的Bug
这个作者很懒,什么都没留下…
展开
-
淘宝+Selenium+Chrome/PhantomJS
使用自动化工具Selenium,模拟浏览器动态抓取淘宝网页数据1.页面分析# 获取主页的搜索框By.CSS_SELECTOR, '#q'# 获取搜索按钮#J_TSearchForm > div.search-button > button# 获取总页码#mainsrp-pager > div > div > div > div.total...原创 2018-07-19 11:33:51 · 223 阅读 · 0 评论 -
Scrapy CrawlSpider抓取数据
本文主要是对CrawlSpider爬虫的应用示例数据爬取对象:中华网科技类新闻url:https://tech.china.com/articles/1. 创建项目scrapy startproject zhonghuawang2. 创建CrawlSpider爬虫cd zhonghuawangscrapy genspider -t crawl china tech.c...原创 2018-07-28 11:29:22 · 676 阅读 · 0 评论