数据分析与可视化

1.pip包管理
(1)内置库
包/库：别人写好的代码，直接引用，加快开发效率。
内置包：python解释器内置常用功能库。
– 解释器安装目录/Lib文件夹下， os time urllib等
– 文件夹里有__init__.py 就成了一个包。
(2)关于HTTP模拟和HTML源代码解析
python时代： urllib urllib2
由第三方程序员做了一个新http请求库，比官方更方便，urllib3
又有一个程序员，在urllib3基础上进一步封装和优化，requests
python3时代 内置库统一为urllib
结论：建议直接使用requests

(3)第三方库
pypi.org 上丰富的各种功能的库

①pip包管理工具
在服务器上没有图形界面的浏览器.开发语言第三方库往往用命令行包管理工具
解释器/script/pip.exe
第三方库安装的位置： 解释器目录\lib\site-packages\

②换源
软件源source: 清单里维护了上万的 某某软件-> 某某url下载 库下载地址关系，但官方pypi.org下载速度慢，国内一些大学、大公司同步镜像
方法一：临时换源
‘pip install requests -i http://simply.aliyun.com/simply/’
方法二：永久换
系统用户文件夹下新建.pip文件夹和pip.conf文件，写入配置

方式三（推荐）：pycharm设置里面配settings/interpreter/+号/manage repositories/+号 复制源（推荐阿里云）

参考[pip换源]（https://www.cnblogs.com/believepd/p/10499844.html）
豆瓣 https://pypi.doubanio.com/simple/
阿里云 https://mirrors.aliyun.com/pypi/simple/
清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/

2.requests基本用法
requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。下面我以代码的形式简单写其中常用的几个知识点：
3.debug模式
debug模式也就是调试运行模式
具体操作过程可以分为三步：
1.打断点
2.以debug运行
3.F8向下执行单步，观察变量值
4.html解析—正则
①我们已经用requests模拟请求，拿到网页源代码，str字符串，里面HTML模式
#需要分析
字符串自带的find方法功能有限，如下：
因此有三种解析方法：
解析方式一：正则 regex，专门针对字符串处理的语法
（不推荐，了解即可）
5.html解析—bs库（不推荐，了解即可）
#网页HTML本身就是树状层状结构，按照层次去找
#beautiful-soup库 是python2时代的库，
#适合python3的是beautifulsoup4
#用’pip install beautifulsoup4‘来安装第三方库
6.html解析—xpath
#xpath表达式有自己的语法，但没有正则那么复杂，类似bs4库按照html层级查找
#用’pip install lxml‘来进行第三方库的安装