腾讯T9大佬手把手教你用Scrapy爬虫框架爬取论坛数据存入数据库
使用scrapy爬取网站数据,是一个目前来说比较主流的一个爬虫框架,也非常简单。
一、前言
网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。------百度百科
说人话就是,爬虫是用来海量规则化获取数据,然后进行处理和运用,在大数据、金融、机器学习等等方面都是必须的支撑条件之一。
目前在一线城市中,爬虫的岗位薪资待遇都是比较客观的,之后提升到中、高级爬虫工程师,数据分析师、大数据开发岗位等,都是很好的过渡。
二、项目目标
本此介绍的项目其实不用想的太过复杂,最终要实现的目标也就是将帖子的每条评论爬取到数据库中,并且做到可以更新数据,防止重复爬取,反爬等措施。
三、项目准备
这部分主要是介绍本文需要用到的工具,涉及的库,网页等信息等
软件:PyCharm
需要的库:Scrapy, selenium, pymongo, user_agent,datetime
目标网站:
http://bbs.foodmate.net
插件:chromedriver(版本要对)
四、项目分析