目标
指定关键字,爬取若干张(>1000)图片。
环境
windows 10 + python3.7 + IDE为jupyter (or pycharm) +(可选:如需爬取谷歌图片,需科学上网)
Google实现
(需自行实现科学上网)
参考 : https://github.com/YoongiKim/AutoCrawler/blob/master/README.md
- 自行实现科学上网
- 安装Chrome浏览器--Chrome浏览器右上角的三个竖着的点--设置--关于Chrome(在左下角位置)--得到图1,它表明 Chrome版本为 87.0,记下这个版本号
- clone开源项目:git clone https://github.com/YoongiKim/AutoCrawler.git
- 在此项目的根目录下(即进到 requirements.txt文件所在的目录),执行 pip install -r requirements.txt
- 在这里下载适合自己的chrom drive (选第二步中对应的版本号,即 87.0),如图2
- 在 keywords.txt 里写搜索的key words, 如想爬取猫的图,就写“cat”
- 执行python脚本,python run.py
- 文件将会被下载到 'download' 目录,会根据第6步中的key words自行形成次级目录.如图3