casperjs爬虫总结(1) -- 环境搭建
操作系统:
win7
软件需求:
1. nodejs
@4.1.2
http://yunpan.cn/cufa9XAFyhtwe 访问密码 9fb7
2. python
@2.7.6(备注,绝对不是使用python3)
http://yunpan.cn/cVuNNwzMBhUDW 访问密码 dabe
3. mongo
@3.0.2
http://yunpan.cn/cVuTzAgpXM2sc 访问密码 73a2
4. vs2013
http://yunpan.cn/cuf7CzEsDVpzI 访问密码 d662
5. phantom
@1.9.3
http://yunpan.cn/cmDIu7XufYZSe 访问密码 723e
6. casperjs
@1.1.0-beta3
http://yunpan.cn/cmDIRGrBCSGvQ 访问密码 eeb8
7. git
@2.6.3
http://yunpan.cn/cuygKwfcrk6xF 访问密码 8acf
配置环境变量
2.1 python
设置python环境变量PYTHON="你的python.exe的完全路径"
2.2 phantom,casperjs,git,mongo的"exe文件所在文件夹"设置到环境变量path下
大致文件夹路径如下:
phantom -> F:\phantomjs-1.9.1
casperjs -> F:\n1k0-casperjs-1.1-beta3-0-g4f105a9\n1k0-casperjs-4f105a9\bin
git -> C:\Program Files\Git\bin
mongo -> C:\Program Files\MongoDB\Server\3.0\bin
简单总结
1 我们会使用基于phantom这个headless的浏览器的casperjs来抓获网页上的一些东西
2 我们会用nodejs来控制流程
3 我们会用mongo来作为数据库保存数据
4 我们会用angular框架来在移动端web展示
操作系统:
win7
软件需求:
1. nodejs
@4.1.2
http://yunpan.cn/cufa9XAFyhtwe 访问密码 9fb7
2. python
@2.7.6(备注,绝对不是使用python3)
http://yunpan.cn/cVuNNwzMBhUDW 访问密码 dabe
3. mongo
@3.0.2
http://yunpan.cn/cVuTzAgpXM2sc 访问密码 73a2
4. vs2013
http://yunpan.cn/cuf7CzEsDVpzI 访问密码 d662
5. phantom
@1.9.3
http://yunpan.cn/cmDIu7XufYZSe 访问密码 723e
6. casperjs
@1.1.0-beta3
http://yunpan.cn/cmDIRGrBCSGvQ 访问密码 eeb8
7. git
@2.6.3
http://yunpan.cn/cuygKwfcrk6xF 访问密码 8acf
配置环境变量
2.1 python
设置python环境变量PYTHON="你的python.exe的完全路径"
2.2 phantom,casperjs,git,mongo的"exe文件所在文件夹"设置到环境变量path下
大致文件夹路径如下:
phantom -> F:\phantomjs-1.9.1
casperjs -> F:\n1k0-casperjs-1.1-beta3-0-g4f105a9\n1k0-casperjs-4f105a9\bin
git -> C:\Program Files\Git\bin
mongo -> C:\Program Files\MongoDB\Server\3.0\bin
简单总结
1 我们会使用基于phantom这个headless的浏览器的casperjs来抓获网页上的一些东西
2 我们会用nodejs来控制流程
3 我们会用mongo来作为数据库保存数据
4 我们会用angular框架来在移动端web展示