一 基本知识概要
1.利用Pandas检索HTML页面(read_html函数)
2.实战训练使用read_html函数直接获取页面数据
3.基本数据处理:表头处理、dropna和fillna详解
4.基本数据可视化分析案例
二 开始动手动脑
1.Pandas的read_html函数
这里我们要介绍的是Pandas里解析HTML页面的函数:read_html
。
查看源码后我们可以看出,该函数的参数比较多,下面我挑重点给大家解释几个。
(1)io
(最关键参数)
源码注释
A URL, a file-like object, or a raw string containing HTML. Note that
lxml only accepts the http, ftp and file url protocols. If you have a
URL that starts with ``'https'`` you might try removing the ``'s'``.
复制代码
我的理解
数据地址(网页地址、包含HTML的文件地址或者字符串)。
注意lxml只接受HTTP、FTP和文件URL协议。
如果你有以“https”开头的URL,你可以尝试删除“s”再传入参数。
复制代码
(2)match
源码注释
str or compiled regular expression, optional
The set of tables containing text matching this regex or string will be
returned. Unless the HTML is extremely simple you will probably need to
pass a non-empty string here. Defaults to '.+' (match any non-empty
string). The default value will return all tables contained on a page.
This value is converted to a regular expression so that there is
consistent behavior between Beautiful Soup and lxml.
复制代码
我的理解
字符串或编译的正则表达式,可选
包含与此正则表达式或字符串匹配的文本的一组表将返回。
除非HTML非常简单,否则您可能需要在此处传递一个非空字符串。
默认为“.+”(匹配任何非空字符串)。默认值将返回页面上包含的所有<table>标签包含的表格。
该值将转换为正则表达式,以便Beautiful Soup和LXML之间一致。
复制代码
(3)flavor
源码注释
flavor : str or None, container of strings
The parsing engine to use. 'bs4' and 'html5lib' are synonymous with
each other, they are both there for backwards compatibility. The
default of ``None`` tries to use ``lxml`` to parse and if that fails it
falls back on ``bs4`` + ``html5lib``.
复制代码
我的理解
要使