爬虫+数据库+大数据分析

总体要求
利用python编写爬虫程序，从招聘网站上爬取数据，将数据存入到MongoDB数据库中，将存入的数据作一定的数据清洗后做数据分析，最后将分析的结果做数据可视化。
**

前期准备

**
1、配置大数据需要的环境
（1）配置Hadoop环境：可看博客：
（2）配置zookeeper环境：https://blog.csdn.net/weixin_44701468/article/details/106822805
（3）配置spark环境：
（3）配置hive环境：
（3）配置spark环境：
2、下载好需要的数据库：Mysql、MangoDB
3、准备好需要的数据：

爬取的是招聘网站前程无忧，由于爬取的一个数据不是很多，我就爬取了几个分别保存到了几个表中，大约有个百多兆的数据（数据量越多越好），第一次学习

具体实现过程

1、编写爬虫框架，爬取数据