python使用了一段时间,现在整理一下已经使用的模块及简要作用和用法。
一、常用类型
- 基础
- time
- os
二、数据整理
- pandas
- NumPy
- matplotlib
三、网络爬取
(1)分布式爬取结构
- scrapy
(2)网络链接内容获取
- requests
- selenium
(3)网络信息定位整理
- re
- BeautifulSoup之bs4
- xpath,其他选择(CSS)
四、存储及文档读写
(1)文档数据
- word——
- excel——xlrd是读excel,xlwt是写excel的库
(2)数据库使用
- mysql
- PyMongo
五、数据端接口
- tushare
- OpenDataTools
六、有趣的模块
-
itchat
七、未完待续
- hashlib
- json
- shutil
- OpenCV图像处理
- async/await异步处理(https://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247487186&idx=1&sn=d86ecdab517ed9f5625bdd75d956559f&chksm=9788991da0ff100b5ef4fbe858c7259069104b8ff08ed72328dc2e72c1bbb83bd6e984456fb5)
- Pillow图像处理
- Twisted
一、pandas
pandas是提供高性能易用数据类型和分析工具的第三方库
学习材料:
#生成数据框
dt={'币种':bi_list,'最新价':bid_list,'24H涨跌幅':zd_list,'24H成交量':vol_list}
de=DataFrame(dt) #根据字典生成数据框
de = de[['币种','最新价','24H涨跌幅','24H成交量']]
其他掌握的要点包括:切片、增减行列、运算以及读取和保存
二、re——正则表示
re是一种查询匹配内容的一种定位规则方式。
三、bs4