python爬虫学习34

python爬虫学习34

今天呢就进入到爬虫网页数据解析提取的最后一个小节，与大家一同学习parsel库的使用，由于博主本身对Web编程不甚了解，所以CSS选择就浅显的了解了一下，pyquery库大家感兴趣就自己学习吧。

九、parsel 库的使用其一

前几节我们共同学习了Xpath语言，一同了解了lxml与beautiful soup库的基本用法。现在不管是使用Xpath还是CSS选择器，我们都已经能够处理绝大多数的内容提取工作了。

在使用方法时，有时使用Xpath会更简单，有时使用CSS会更加方便，那么这个时候我们希望将两者结合起来，parsel库就是一个不错的选择。

9-1、parsel 库的下载

parsel这个库可以解析HTML与XML，并支持Xpath与CSS选择器对内容的提取和修改，同时也支持正则表达式的提取功能。parsel是Python最流行的爬虫框架scrapy的底层支持。

下载安装库

pip install parsel

9-2、初始化

通常我们需要使用selector类声明一个selector对象，对一段待处理的html文本进行初始化：

from parsel import selector

html = """
<div class="nav">
    <div class="nav-head">
        <h4>hello<h4>
    </div>
			<ul>
				<li><a href="https://www.qbiqu.com/">首页</a></li>
                <li><a href="/modules/article/bookcase.php">我的书架</a></li>
				<li><a href="/xuanhuanxiaoshuo/">玄幻小说</a></li>
				<li><a href="/xiuzhenxiaoshuo/">修真小说</a></li>
				<li><a href="/dushixiaoshuo/">都市小说</a></li>
				<li><a href="/chuanyuexiaoshuo/">穿越小说</a></li>
				<li><a href="/wangyouxiaoshuo/">网游小说</a></li>
				<li><a href="/kehuanxiaoshuo/">科幻小说</a></li>
				<li><a href="/paihangbang/">排行榜单</a></li>
				<li><a href="/wanben/1_1">完本小说</a></li>
				<li><a href="/xiaoshuodaquan/">全部小说</a></li>
                <li><script type="text/javascript">yuedu();</script></li>
			</ul>
		</div>
        <div id="banner" style="display:none"></div>
		<div class="dahengfu"><script type="text/javascript">list1();</script></div>
"""

selector = selector.Selector(text=html)

在初始化之后我们就可以使用之前学会的Xpath或caa方法进行选择了：

from parsel import selector

html