一、Python所有方向的学习路线
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
二、学习软件
工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。
三、入门学习视频
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
botocore(#3,6.6 亿次下载)
s3transfer(#7,5.84 亿次下载)
awscli(#17,3.94 亿次下载)
boto3(#22,3.29 亿次下载)
Botocore
是 AWS 的底层接口。Botocore
是 Boto3 库(#22)的基础,后者让你可以使用 Amazon S3 和 Amazon EC2 一类的服务。Botocore 还是 AWS-CLI 的基础,后者为 AWS 提供统一的命令行界面。
S3transfer
(#7)是用于管理 Amazon S3 传输的 Python 库。它正在积极开发中,其介绍页面不推荐人们现在使用,或者至少等版本固定下来再用,因为其 API 可能发生变化,在次要版本之间都可能更改。Boto3
、AWS-CLI
和其他许多项目都依赖s3transfer
。
令人惊讶的是,这些针对 AWS 库的排名竟如此之高——这充分说明了 AWS 有多厉害。
4、Pip
下载次数:6.27 亿
我想,你们大多数人都知道并且很喜欢 pip,它是 Python 的包安装器。你可以用 pip 轻松地从 Python 包索引和其他索引(例如本地镜像或带有私有软件的自定义索引)来安装软件包。
有关 pip 的一些有趣事实:
-
pip
是“Pip Installs Packages”的首字母递归缩写。 -
pip
很容易使用。要安装一个包只需pip install <package name>
即可,而删除包只需pip uninstall <package name>
即可。 -
最大优点之一是它可以获取包列表,通常以
requirements.txt
文件的形式获取。该文件能选择包含所需版本的详细规范。大多数 Python 项目都包含这样的文件。 -
如果结合使用
pip
与virtualenv
(列表中的 #57),就可以创建可预测的隔离环境,同时不会干扰底层系统,反之亦然。
5、Python-dateutil
下载次数:6.17 亿
python-dateutil
模块提供了对标准datetime
模块的强大扩展。我的经验是,常规的Python datetime
缺少哪些功能,python-dateutil
就能补足那一块。
你可以用这个库做很多很棒的事情。其中,我发现的一个特别有用的功能就是:模糊解析日志文件中的日期,例如:
6、Requests
下载次数:6.11 亿
Requests
建立在我们的 #1 库——urllib3
基础上。它让 Web 请求变得非常简单。相比urllib3
来说,很多人更喜欢这个包。而且使用它的最终用户可能也比urllib3
更多。后者更偏底层,并且考虑到它对内部的控制级别,它一般是作为其他项目的依赖项。
下面这个例子说明 requests 用起来有多简单:
7、S3transfer
这里把 #3、#7、#17 和 #22 放在一起介绍,因为它们的关系非常密切。
8、Certifi
下载次数:5.52 亿
近年来,几乎所有网站都转向 SSL,你可以通过地址栏中的小锁符号来识别它。加了小锁意味着与该站点的通信是安全和加密的,能防止窃听行为。
小锁告诉我们此网站已使用 SSL 保护
加密过程是基于 SSL 证书的,并且这些 SSL 证书由受信任的公司或非营利组织(如 LetsEncrypt)创建。这些组织使用他们的(中间)证书对这些证书进行数字签名。
你的浏览器使用这些证书的公开可用部分来验证这些签名,这样就能确保你正查看的是真实内容,并且没有人能窥探到通信数据。Python 软件也能做同样事情。这就是 certifi 的用途所在。它与 Chrome、Firefox 和 Edge 等网络浏览器随附的根证书集合没有太大区别。
Certifi
是根证书的一个精选集合,有了它,你的 Python 代码就能验证 SSL 证书的可信度。
如此处所示,许多项目信任并依赖 certifi。这也是该项目排名如此之高的原因所在。
9、Idna
下载次数:5.27 亿
根据其 PyPI 页面,idna
提供了“对 RFC5891 中指定的应用程序中国际化域名(IDNA)协议的支持。”
可能你像我一样也是一头雾水,不知道Idna
是什么,有什么用!据悉,应用程序中的国际化域名(IDNA)是一种用来处理包含非 ASCII 字符的域名机制。但是,原始域名系统已经提供对基于非 ASCII 字符的域名支持。所以,哪有问题?
问题在于应用程序(例如电子邮件客户端和 Web 浏览器)不支持非 ASCII 字符。更具体地说,电子邮件和 HTTP 用的协议不支持这些字符。对许多国家来说,这没什么问题,但是像中国、俄罗斯、德国、希腊和印度尼西亚等国家,这是个问题。最后,来自这些地方的一群聪明人想到 IDNA。
IDNA
的核心是两个函数:ToASCII
和ToUnicode
。ToASCII
会将国际 Unicode 域转换为 ASCII 字符串。ToUnicode
则逆转该过程。在IDNA
包中,这些函数称为idna.encode()
和idna.decode()
,如以下代码片段所示:
如果你是受虐狂,则可以阅读 RFC-3490 了解这一编码的详细信息。
10、PyYAML
下载次数:5.25 亿
YAML
是一种数据序列化格式。它的设计宗旨是让人类和计算机都能很容易地阅读代码——人类很容易读写它的内容,计算机也可以解析它。
PyYAML
是 Python 的YAML
解析器和发射器,这意味着它可以读写YAML
。它会把任何 Python 对象写成YAML
:列表、字典,甚至是类实例都包括在内。
Python 提供了自己的配置解析器,但是与 Python 的ConfigParser
的基本.ini
文件结构相比,YAML 提供更多功能。
例如,YAML
可以存储任何数据类型:布尔值、列表、浮点数等等。ConfigParser
会将所有内容存储为内部字符串。如果要使用ConfigParser
加载整数,则你需要指定自己要显式获取一个int
:
config.getint(“section”, “my_int”)
pyyaml
能自动识别类型,所以这将使用PyYAML
返回你的int
:
config[“section”][“my_int”]
YAML
还允许任意的 deep trees,虽然不是每个项目都需要这种东西,但是需要时,它就可以派上用场。你可能有自己的偏好,但是许多项目都使用YAML
作为配置文件,所以这个项目是很受欢迎的。
11、Pyasn1
下载次数:5.12 亿
像上面的IDNA
一样,这个项目也非常有用:
ASN.1 类型和 DER/BER/CER 编码(X.208)的纯 Python 实现
所幸这个已有数十年历史的标准有很多信息可用。ASN.1
是 Abstract Syntax Notation One 的缩写,它就像是数据序列化的教父。它来自电信行业。也许你知道协议缓冲区或 Apache Thrift?这就是它们的 1984 年版本。
ASN.1 描述了系统之间的跨平台接口,以及可以通过该接口发送的数据结构。
还记得 Certifi(请参阅 #8)吗?ASN.1 用于定义 HTTPS 协议和其他许多加密系统中使用的证书格式。它也用在了 SNMP、LDAP、Kerberos、UMTS、LTE 和 VOIP 协议中。
这是一个非常复杂的规范,并且某些实现已被证明满是漏洞。
一个建议,除非你真的需要,否则还是敬而远之吧。但由于它用在很多地方,因此许多包都依赖这个包。
12、Docutils
下载次数:5.08 亿
Docutils
是一个模块化系统,用来将纯文本文档处理为很多有用的格式,例如 HTML、XML 和 LaTeX 等。Docutils
能读取reStructuredText
格式的纯文本文档,这种格式是类似于 MarkDown 的易读标记语法。
你可能听说过,甚至读过 PEP 文档。
那么什么是 PEP 文档?最早的 PEP 文档,PEP-1 为我们提供很好的解释:
PEP 的意思是 Python 增强提案。一个 PEP 就是一个设计文档,用来向 Python 社区提供信息,或描述 Python 或其过程或环境的新功能。PEP 应该提供该功能的简明技术规范以及功能的原理。
PEP 文档使用固定的reStructuredText
模板编写,并使用docutils
转换为格式正确的文档。
Docutils 也是Sphinx
的核心。Sphinx
用于创建文档项目。如果Docutils
是一台机器,则Sphinx
就是工厂。它最初是为了构建 Python 文档而创建的,但其他许多项目也使用它为代码提供文档。你可能已经读过 readthedocs.org 上的文档,那里的大多数文档都是由Sphinx
和docutils
创建的。
13、Chardet
下载次数:5.01 亿
你可以用chardet
模块来检测文件或数据流的字符集。比如说,需要分析大量随机文本时,这会很有用。但你也可以在处理远程下载的数据,但不知道用的是什么字符集时使用它。
安装chardet
后,你还有一个名为chardetect
的命令行工具,用法如下:
chardetect somefile.txt
somefile.txt: ascii with confidence 1.0
你还能通过编程方式使用这个库,具体参阅文档。Chardet
是requests
等许多包的需求。我觉得没有多少人会单独使用chardet
,所以它这么流行肯定是因为这些依赖项。
14、RSA
下载次数:4.92 亿
rsa
包是一个纯 Python 的 RSA 实现。它支持:
-
加密和解密
-
签名和验证签名
-
根据 PKCS#1 1.5 版生成密钥
它既可以用作 Python 库,也能在命令行中使用。
一些事实:
-
RSA 是 RonRivest、Adi Shamir 和 Leonard Adleman 三人姓的首字母。他们在 1977 年发明该算法。
-
RSA 是最早的公钥密码系统之一,被广泛用于安全数据传输。在这样的密码系统中,有两个密钥:公共部分和私有部分。你用公钥加密数据,只能用私钥解密数据。
-
RSA 是一种 slow algorithm。它很少用于直接加密用户数据。通常,RSA 用于安全传递对称密钥加密的共享密钥,这样加密和解密大量数据时会快得多。
以下代码段展示了如何在一个非常简单的用例中使用 RSA:
假设 Bob 保留自己的私钥 private,那么 Alice 可以确定他是唯一可以阅读该消息的人。但是,Bob 不能确定是 Alice 发送了该消息,因为任何人都可以获取并使用他的公钥。为证明是她,Alice 可以用她的私钥在邮件上签名。Bob 可以用她的公钥验证此签名,确保消息的确是她发送的。
诸如google-auth
(#37)、oauthlib
(#54)、awscli
(#17)之类的包都依赖rsa
包。很少有人会将这个工具独立使用,因为有更快、更原生的替代方法。
15、Jmespath
15、Jmespath
下载次数:4.73 亿
在 Python 中用 JSON 非常容易,因为它在 Python 字典上的映射非常好。对我来说,这是它最好的特性之一。
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!