爬虫
文章平均质量分 87
毛球饲养员
这个作者很懒,什么都没留下…
展开
-
Scrapy简介与pycharm的使用
Background最近要从京东爬取一些评论作为语料,所以要使用爬虫技术。 那么现在有这么多种爬虫技术,该选择哪个呢? 经过调研,我打算采用Scrapy框架,具体原因请看下文。Scrapy简介github源码https://github.com/scrapy/scrapy Scrapy is a fast high-level web crawling and web sc...原创 2018-07-21 12:52:32 · 414 阅读 · 0 评论 -
爬取携程酒店评论-Selenium-火狐浏览器-BeautifulSoup
一、background虽然scrapy是一个非常强大的工具,也能配合selenium来使用,但是时间比较紧,不知道为什么没有成功将selenium应用在scrapy上。日后再研究一下。 本篇博文只要讲述如何使用selenium,这是一个模拟浏览器来爬取数据的工具,当然还会使用到BeautifulSoup,专门提取网页内容的工具。二、安装安装selenium# 一条命令搞定pi...原创 2018-08-12 13:05:03 · 1747 阅读 · 10 评论