最近在知乎看了一篇文章,讲的是数据分析的,中提到通过python抓取网络数据然后分析其中的数据,恰好我这也是我以后的方向,查询了一下python,感觉对学习数据分析很有用于是就找了相关的资料学习了一下。
1.首先安装python,在python官网下载
安装很简单一步一步的完成
2.安装开发工具,个人用的是pycharm,在pycharm官网下载即可
这个是收费,可以在网上寻找破解方法(应该很好找)
3.学习爬虫肯定要学习Scrapy框架,首先要安装pip软件,pip下载,在cmd下运行(如果cmd下不能运行的,可以去配置一下环境变量,在path下配置:;D:\Python27;安装python的目录),python F:\pip-8.0.2\pip-8.0.2\setup.py install,就可以安装了。
4.在pip中直接安装Scrapy框架,直接在cmd下输入pip,如果不能运行,也要配置一下环境变量在path里;D:\Python27\Scripts;
然后就直接输入Pip scrapy install 便可以安装了,如果安装图中报:
error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcpython27
直接在 打开http://aka.ms/vcpython27会跳转到http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266,直接下载安装即可随后安装过程如果再碰到
我搜索了一下,找了外国友人也有同样的错误就
上面说windows可以直接在cmd下输入:easy_install lxml这个就行,我试了一下成功安装了,
错误的帖子:点击打开链接
5.至此scrapy的框架已经安装完毕!