网上Python的各种教程已经很多了,不过很多内容是重复的,写这篇博客的目的在于:搜集、整理各步骤好的教程、资源,方便日后查找,使用。
1、Python安装
官方文档: Python 3.6.0 documentation
1.1 Python模块常用的几种安装方式
1、Python模块常用的几种安装方式
2、windows7下怎样安装whl文件(python)
3、windows pip 安装 whl文件
1.1.1、pip安装方式
先进行pip工具的安裝:easy_install pip(pip 可以通过easy_install 安裝,而且也会装到 Scripts 文件夹下。),其他文件用pip安装方法如下:
pip install ***
安裝:pip install PackageName
更新:pip install -U PackageName
移除:pip uninstall PackageName
搜索:pip search PackageName
帮助:pip help
1.1.2、python下如何安装.whl包?
下载.whl包
pip install wheel
之后pip install 包名字.whl 即可安装某模块包
到哪找.whl文件?
http://www.lfd.uci.edu/~gohlke/pythonlibs/
1.1.3、扩展包里有setup.py文件安装方法
进入CMD,然后输入DOS命令进入setup.py文件所在目录,然后输入python setup.py install就搞定了。
Python模块、扩展
常用包的网站集合
1、setuptools 34.2.0
2、Jinja2
3、Unofficial Windows Binaries for Python Extension Packages:python包的合集
常用包的安装
scrapy安装步骤
1、Scrapy官方安装文档:Installing Scrapy
2、python 3.5 成功安装 scrapy 的步骤
3、Python扩展包安装方法以及Python添加库(模块)
注:我在安装Scrapy的时候,始终不成功,后来按照官网介绍,按装virtualenv(可以参考后文提到的廖雪峰Python教程)之后,可以成功安装Scrapy。
virtualenv的安装
virtualenv为应用提供了隔离的Python运行环境,解决了不同应用间多版本的冲突问题
1、 打开终端,定位到要建立项目的目录
2、 从 pypi.python.org/pypi/virtualenv/下载新virtualenv并安装,或者通过命令行进行安装:
pip3 install virtualenv
3、 安装好之后,我们就可以使用virtualenv命令创建Python虚拟环境了。这个命令有一个需要的参数:虚拟环境的名称。一个指定名称的文件夹和在里面的、与虚拟环境相关的所有文件会在当前目录下被创建。一般给虚拟环境约定命名为venv(可以随便起名字)
4、 Windows,激活命令是在venv安装的目录上输入activate就可以:
> venv\Scripts\activate
5、 取消激活的命令是:deactivate,在有(venv)提示符的时候,任何路径下输入deactivate都能取消激活。
6、 你激活了虚拟环境,该激活命令会将环境的名称包含在命令提示符里面:
(venv)$
Python包相关文档
1、Bootstrap 官方文档: http://getbootstrap.com/
2、Flask-WTF: http://pythonhosted.org/Flask-WTF/
3、PyPI - the Python Package Index: https://pypi.python.org/pypi,很多python包里都可以在这里找到
4、WSGI简介:由浅及深,对wsgi的解释很好理解
5、WSGI初探:上一篇很多从这里找到的
6、WSGI 简介
7、Flask 官方文档示例:Python 和 Flask 开发一个应用,注:运行的时候在flaskr.py文件最后添加,能够保证运行成功:
with app.app_context():
init_db()
if __name__ == '__main__':
app.run()
8、Flask-WTF :官方文档
9、Python模板-Jinja2
10、jinja2官方文档:模板设计者文档
11、Python专题教程:BeautifulSoup详解
12、python BeautifulSoup使用方法详解
2、Python调试
我选择的是Eclipse +Pydev,安装方法网上都有;
1、【教程】在Eclipse中使用PyDev进行Python开发
2、PyDev for Eclipse 简介:这篇文章对Pydev的安装,及调试方法进行了总结,比较详实
3、Eclipse断点调试方法
4、Eclipse实用技巧:快速调整代码布局—缩进/退格
在virtualenv下,用eclipse+Pydev调试程序
eclipse下新建一个Pydev工程文件,
在Interpreter里面,选择virtualenv工作空间下的python程序
再此模式下,即可实现虚拟空间下的调试。
3、Python基础语法
1、廖雪峰Python教程:在线教程,从基础讲起,适合零基础,讲课内容比【2】要细致,重点推荐;
2、Python基础教程:也是从零讲起,同时有在线编译软件,代码可以在线调试,比较方便
4、Python爬虫教程
爬虫例子
网上讲爬虫的内容很多,大部分内容是雷同的。个人经验,挑一篇基础的,按例子把内容都学会了,再看其他的,触类旁通。多做几个例子,就都明白了。
入门:这几篇都比较基础,适合从零开始的新手
1、《Python爬虫学习系列教程》学习笔记: 比较基础,基本从零开始教,由潜入深,适合新手;
2、csdn“请叫我汪海”写的爬虫专栏
3、知乎“如何入门爬虫?”
4、[python] 常用正则表达式爬取网页信息及分析HTML标签总结
5、Python 爬虫的工具列表
6、Python3 爬虫编写报错及解决方法整理:本人整理的在编程过程遇到的问题及解决方法
7、Python爬虫学习系列教程
进阶:需要安装BeautifulSoup,也需要具备一点python基础
爬虫做过的有趣的事
1、有哪些网站用爬虫爬取能得到很有价值的数据?
2、GitHub 上有哪些优秀的 Java 爬虫项目?
3、有哪些网站用爬虫爬取能得到很有价值的数据?
4、利用爬虫技术能做到哪些很酷很有趣很有用的事情?
参考书籍:
1、python网络数据采集:以python 3 为基础,讲爬虫的基本方法,中文版,见我的上传资源;
相关知识语法
1、Python3 正则表达式
2、Python3 如何优雅地使用正则表达式(详解一)
3、XPath 节点
4、Python正则表达式操作指南
5、常见错误
1、写入文件中遇到 UnicodeEncodeError: ‘gbk’ codec can’t encode character 错误的解决办法:从网页抓取文件,写入txt文本里,报错的解决方法。
2、在抄写《python网络数据采集》代码时,曝出一个警告:
D:\Application\python\lib\site-packages\beautifulsoup4-4.4.1-py3.4.egg\bs4__init__.py:166:
UserWarning: No parser was explicitly specified, so I’m using the best
available HTML parser for this system (“html.parser”). This usually isn’t a
problem, but if you run this code on another system, or in a different
virtual environment, it may use a different parser and behave differently.
To get rid of this warning, change this:
BeautifulSoup([your markup])
to this:
BeautifulSoup([your markup], “html.parser”)
解决方法,就像警告里说的,将 BeautifulSoup([your markup])改成BeautifulSoup([your markup], “html.parser”)
参考:How to get rid of BeautifulSoup user warning?
6、相关博客
1、提高你的Python能力:理解单元测试
2、Python-第三方库requests详解
3、python3重写SimpleHTTPServerWithUpload
4、6个最佳的开源Python应用服务器
7、Python3中的变化
1、BaseHTTPServer模块在Python3中已被合并到http.server