python爬虫Scrapy学习,在windows下安装和配置

最近在知乎看了一篇文章,讲的是数据分析的,中提到通过python抓取网络数据然后分析其中的数据,恰好我这也是我以后的方向,查询了一下python,感觉对学习数据分析很有用于是就找了相关的资料学习了一下。

1.首先安装python,在python官网下载


安装很简单一步一步的完成

2.安装开发工具,个人用的是pycharm,在pycharm官网下载即可


这个是收费,可以在网上寻找破解方法(应该很好找)

3.学习爬虫肯定要学习Scrapy框架,首先要安装pip软件,pip下载,在cmd下运行(如果cmd下不能运行的,可以去配置一下环境变量,在path下配置:;D:\Python27;安装python的目录),python F:\pip-8.0.2\pip-8.0.2\setup.py install,就可以安装了。

4.在pip中直接安装Scrapy框架,直接在cmd下输入pip,如果不能运行,也要配置一下环境变量在path里;D:\Python27\Scripts; 

然后就直接输入Pip scrapy install 便可以安装了,如果安装图中报:

error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27

直接在 打开http://aka.ms/vcpython27会跳转到http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266,直接下载安装即可

随后安装过程如果再碰到


我搜索了一下,找了外国友人也有同样的错误就

上面说windows可以直接在cmd下输入:easy_install lxml这个就行,我试了一下成功安装了,

错误的帖子:点击打开链接

5.至此scrapy的框架已经安装完毕!




  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值