这5个Python库太难搞！每位数据科学家都应该了解

全文共3708字，预计学习时长10分钟

图源：unsplash

 

Pthon之所以能成为世界上最受欢迎的编程语言之一，与其整体及其相关库的生态系统密不可分，这些强大的库让Python保持着生命力和高效力。作为数据科学家免不了会使用一些Python库用于项目和研究，除却那些常见的库，还有很多库能够增强你的数据科学研究能力。

 

本文将介绍五大难懂的Python库，理解起来并不容易，但搞定它们你就能功力大增！

 

1.Scrapy

 

每位数据科学家的项目都是从处理数据开始的，而互联网就是最大、最丰富、最易访问的数据库。但可惜的是，除了通过pd.read_html函数来获取数据时，一旦涉及从那些数据结构复杂的网站上抓取数据，数据科学家们大多都会毫无头绪。

 

Web爬虫常用于分析网站结构和存储提取信息，但相较于重新构建网页爬虫，Scrapy使这个过程变得更加容易。

 

Scrapy用户界面非常简洁使用感极佳，但其最大优势还得是效率高。Scrapy可以异步发送、调度和处理网站请求，也就是说：它在花时间处理和完成一个请求的同时，也可以发送另一个请求。Scrapy通过同时向一个网站发送多个请求的方法，使用非常快的爬行，以最高效的方式迭代网站内容。

 

除上述优点外，Scrapy还能让数据科学家用不同的格式（如：JSON，CSV或XML）和不同的后端（如：FTP，S3或local）导出存档数据。

 

图源：unsplash

 

2.Statsmodels

 

到底该采用何种统计建模方法？每位数据科学家都曾对此犹豫不决，但Statsmodels是其中必须得了解的一个选项，它能实现Sci-kit Learn等标准机器学习库中没有的重要算法（如：ANOVA和ARIMA），而它最有价值之处在于其细节化处理和信息化应用。