Mrrunsen的博客

基于百度搜索指数生成的可视化地图说明文档程序说明该程序是基于百度搜索指数生成的可视化地图。地图部分基于pyecharts制作。程序可以根据用户所提供的关键词（当然这个词必须可以被百度指数搜索到）爬下全国各省市（为了美观和运行时间考虑，有小部分删减）的搜索指数，并且将其用pyecharts的geo展示。运行程序后，首先提示输入keywords：这个时候输入你想搜索的指数。之后询问你是否需要设置开始时间。百度指数可以设置时间区间，如果选择y，之后会提示设置百度指数搜索的起始时间。该程序将爬取自该时间起共七

【Python系列专栏】第七十七篇 移动窗口函数

重采样（resampling）指的是将时间序列从一个频率转换到另一个频率的处理过程。将高频率数据聚合到低频率称为降采样（downsampling），而将低频率数据转换到高频率则称为升采样（upsampling）。并不是所有的重采样都能被划分到这两个大类中。例如，将W-WED（每周三）转换为W-FRI既不是降采样也不是升采样。

时期（period）表示的是时间区间，比如数日、数月、数季、数年等。Period类所表示的就是这种数据类型，其构造函数需要用到一个字符串或整数，以及表11-4中的频率：

pandas中的原生时间序列一般被认为是不规则的，也就是说，它们没有固定的频率。对于大部分应用程序而言，这是无所谓的。但是，它常常需要以某种相对固定的频率进行分析，比如每日、每月、每15分钟等（这样自然会在时间序列中引入缺失值）。幸运的是，pandas有一整套标准时间序列频率以及用于重采样、频率推断、生成固定频率日期范围的工具。例如，我们可以将之前那个时间序列转换为一个具有固定频率（每日）的时间序列，只需调用resample即可：

pandas最基本的时间序列类型就是以时间戳（通常以Python字符串或datatime对象表示）为索引的Series：

文章目录字符串和datetime的相互转换Python标准库包含用于日期（date）和时间（time）数据的数据类型，而且还有日历方面的功能。我们主要会用到datetime、time以及calendar模块。datetime.datetime（也可以简写为datetime）是用得最多的数据类型：In [10]: from datetime import datetimeIn [11]: now = datetime.now()In [12]: nowOut[12]: datetime.date

​ `matplotlib`是一个用于创建出版质量图表的桌面绘图包（2D）。

【Python系列专栏】第七十篇 Python中 Pandas 索引和选择数据

【Python系列专栏】第六十九篇 Python中 Pandas 数据聚合与分组运算

【Python系列专栏】第六十八篇 Python中 Pandas 重塑和轴向旋转

文章目录8.2 合并数据集8.2.1 数据库风格的DataFrame合并8.2.2 索引上的合并8.2.3 轴向连接8.2.4 合并堆叠数据8.2 合并数据集​ pandas对象中的数据可以通过一些方式进行合并：pandas.merge根据一个或多个键将不同DataFrame中的行连接起来。（它实现的就是数据库的join操作）。pandas.concat可以沿着一条轴将多个对象堆叠到一起。combine_first可以将重复数据编接在一起，用一个对象中的值填充另一个对象中的缺失值。8.2

文章目录8 数据规整：聚合、合并和重塑8.1 层次化索引8.1.1 重排与分级排序8.1.2 根据级别汇总统计8.1.3 使用DataFrame的列进行索引8 数据规整：聚合、合并和重塑前提：数据分散在多个文件或数据库中，存储形式不利于分析。​ 重点：pandas的层次化索引；8.1 层次化索引在一个轴上拥有多个（两个以上）索引级别。（即，以低纬度形式处理高纬度数据。）​ 例如：data=pd.Series(np.random.randn(9),index=[['a','a','a

Pandas 另一类重要操作是过滤、清理以及其他的转换工作。

最后我们再来讲讲pandas中的一个重要功能，那就是多层索引。在序列中它可以实现在一个轴上拥有多个索引，就类似于Excel中常见的这种形式：

在Excel中有一个非常强大的功能就是数据透视表，通过托拉拽的方式可以迅速的查看数据的聚合情况，这里的聚合可以是计数、求和、均值、标准差等。

现实生活中的数据是非常杂乱的，其中缺失值也是非常常见的，对于缺失值的存在可能会影响到后期的数据分析或挖掘工作，那么我们该如何处理这些缺失值呢？常用的有三大类方法，即删除法、填补法和插值法。

pandas模块为我们提供了非常多的描述性统计分析的指标函数，如总和、均值、最小值、最大值等，我们来具体看看这些函数：

细致的朋友可能会发现一个现象，不论是序列也好，还是数据框也好，对象的最左边总有一个非原始数据对象，这个是什么呢？不错，就是我们接下来要介绍的索引。

在pandas中有两类非常重要的数据结构，即序列Series和数据框DataFrame。Series类似于numpy中的一维数组，除了通吃一维数组可用的函数或方法，而且其可通过索引标签的方式获取数据，还具有索引的自动对齐功能；DataFrame类似于numpy中的二维数组，同样可以通用numpy数组的函数和方法，而且还具有其他灵活应用，后续会介绍到。

统计学中经常会讲到数据的分布特征，如正态分布、指数分布、卡方分布、二项分布、泊松分布等，下面就讲讲有关分布的随机数生成。

统计运算中常见的聚合函数有：最小值、最大值、中位数、均值、方差、标准差等。首先来看看数组元素级别的计算：

通过索引和切片的方式获取数组元素，一维数组元素的获取与列表、元组的获取方式一样：

当一个数组构建好后，我们看看关于数组本身的操作又有哪些属性和函数：

pymysql：纯Python实现的一个驱动。因为是纯Python编写的，因此执行效率不如MySQL-python。并且也因为是纯Python编写的，因此可以和Python代码无缝衔接。

Python模块中的numpy，这是一个处理数组的强大模块，而该模块也是其他数据分析模块（如pandas和scipy）的核心。下面将从这5个方面来介绍numpu模块的内容：

`BeautifulSoup`是从HTML或者XML中提取数据的Python库。目前`Beautiful Soup 3`已经停止开发,推荐在现在的项目中使用`Beautiful Soup 4`, 安装的命令为`pip install beautifulsoup4`。

【Python系列专栏】第五十一篇Python中第三方模块（Reuqests）

VirtualEnv用于创建独立的Python虚拟环境，这些独立的Python虚拟环境中有独立的安装目录。

当你使用Python2.7.9以及Python3.4以上的Python版本时，pip已经默认随Python一起安装，但是你可能需要不定期的更新pip。

【Python系列专栏】第四十七篇 Python常见面试问题汇总

urllib 的 request 模块可以非常方便地抓取URL内容，urlopen() 函数首先发送一个GET请求到指定的页面，然后返回HTTP的响应。比方说，对豆瓣的一个URL（https://api.douban.com/v2/book/2129650）进行抓取，并返回响应：

如果我们要编写一个搜索引擎，第一步是用爬虫把目标网站的页面抓下来，第二步就是解析该HTML页面，看看里面的内容到底是新闻、图片还是视频。假设第一步已经完成了，第二步我们应该如何解析HTML呢？HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。好在Python提供了 HTMLParser 模块帮助我们解析HTML，非常方便，只需简单几行代码即可完成。

XML虽然比JSON复杂，在Web中应用也不如以前多了，不过仍然有很多地方会用到XML，所以我们有必要了解如何在Python中如何处理XML。

在Python中，读写文件要注意使用完毕后必须进行关闭（文件对象占用大量资源并且同一时间操作系统只能打开有限数量的文件。之前已经介绍了利用 try...finally 机制关闭文件资源的方法：

Python的内建模块 itertools 提供了非常有用的用于操作迭代对象的函数。我们首先看看 itertools 提供的几个“无限”迭代器：

Python的 `hashlib` 模块提供了常见的摘要算法，如MD5，SHA1等等。什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个摘要函数（也称哈希函数），**把任意长度的数据转换为一个固定长度的数据串**（称为**摘要（digest）**，通常表示为由16进制数字组成的字符串）。

准确地讲，**Python没有专门处理字节的数据类型**。但由于 `b'str'` 可以用来表示字节，所以在Python中可以认为 `字节数组＝二进制str`。而在C语言中，我们可以很方便地用 `struct`、`union` 等库来处理字节以及字节和int，float的转换。

Base64是一种用64个字符来表示任意二进制数据的方法。

collections 是Python内建的一个集合模块，提供了许多有用的集合类。