介绍Spark在Win 10系统中的的安装、配置以及在分布式爬虫中的使用,Python版本为3.6.8。
Spark安装、配置和使用请参考《Python程序设计开发宝典》“第12章 多任务与并行处理:线程、进程、协程、分布式、GPU加速”(董付国著,清华大学出版社,2017.10),京东:https://item.jd.com/12143483.html
网络爬虫入门请参考《Python可以这样学》“第9章 网络应用开发”(董付国著,清华大学出版社,2017.2),京东缺货,请选择亚马逊、当当、天猫搜索“董付国”;《Python程序设计基础与应用》“第13章 网络爬虫入门与应用”(董付国著,机械工业出版社,2018.9),京东:https://item.jd.com/12433472.html
================
1、下载安装jdk,地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、添加环境变量JAVA_HOME,配置为jdk的安装路径。
3、下载Spark,解压缩到G:spark-2.2.3-bin-hadoop2.7。
地址:http://mirrors.shu.edu.cn/apache/spark/spark-2.2.3/spark-2.2.3-bin-hadoop2.7.tgz,注意版本,并不是越新越好,很容易因为版本不兼容影响运行。
4、配置环境变量HADOOP_HOME和SPARK_HOME为Spark的解压缩目录G:spark-2.2.3-bin-hadoop2.7。
5、修改环境变量PATH,把Python 3.6的安装目录放到前面,添加jdk安装路径。
6、下载winutils.exe并放到Spark解压缩目录的bin中,下载地址:http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
7、编写爬虫程序sparkCrawlYuanshi.py并保存到Spark安装目录的bin目录中,以爬取工程院院士信息为例,略去对网页结构的分析,感兴趣的朋友可自行完成这个步骤。
8、进入Power Shell,执行命令./spark-submit.cmd sparkCrawlYuanshi.py运行爬虫程序。
1)《Python程序设计(第2版)》清华大学出版社
2)《Python可以这样学》清华大学出版社
3)《Python程序设计基础(第2版)》清华大学出版社
4)《中学生可以这样学Python》清华大学出版社,配套微课:《中学生可以这样学Python》84节微课免费观看地址
5)《Python程序设计开发宝典》清华大学出版社
6)《玩转Python轻松过二级》清华大学出版社
7)《Python程序设计基础与应用》机械工业出版社
爬虫系列文章:
多线程、多进程与并行、并发执行、GPU加速: