python爬虫学习35

python爬虫学习35

九、parsel 库的使用 其二

9-4 提取属性

今天接着学习parsel库，昨天我们学习了parsel中的初始化和提取文本，那么如何提取属性呢？

与我们之前学习的一致，直接放到Xpath或CSS中就行了

因为不怎么会CSS所以就主要以Xpath为例子了。。。

from parsel import Selector

html = """
<div class="nav">
    <div class="nav-head item">
        <h4>hello<h4>
    </div>
			<ul>
				<li><a href="https://www.qbiqu.com/">首页</a></li>
                <li><a href="/modules/article/bookcase.php">我的书架</a></li>
				<li><a href="/xuanhuanxiaoshuo/">玄幻小说</a></li>
				<li><a href="/xiuzhenxiaoshuo/">修真小说</a></li>
				<li><a href="/dushixiaoshuo/">都市小说</a></li>
				<li><a href="/chuanyuexiaoshuo/">穿越小说</a></li>
				<li><a href="/wangyouxiaoshuo/">网游小说</a></li>
				<li><a href="/kehuanxiaoshuo/">科幻小说</a></li>
				<li><a href="/paihangbang/">排行榜单</a></li>
				<li><a href="/wanben/1_1">完本小说</a></li>
				<li><a href="/xiaoshuodaquan/">全部小说</a></li>
                <li><script type="text/javascript">yuedu();</script></li>
			</ul>
		</div>
        <div id="banner" style="display:none"></div>
		<div class="dahengfu"><script type="text/javascript">list1();</script></div>
"""

ini_sel = Selector(text=html)
result = ini_sel.xpath('//div[contains(@class, "nav-head")]')
print(result)
print(result.get())
print(result.getall())

运行结果：

9-5正则提取

还记得我们那年一起学过的正则表达式吗？这里也可以用上：

from parsel import Selector

html = """
<div class="nav">
    <div class="nav-head item">
        <h4>hello<h4>
    </div>
			<ul>
				<li><a href="https://www.qbiqu.com/">首页</a></li>
                <li><a href="/modules/article/bookcase.php">我的书架</a></li>
				<li><a href="/xuanhuanxiaoshuo/">玄幻小说</a></li>
				<li><a href="/xiuzhenxiaoshuo/">修真小说</a></li>
				<li><a href="/dushixiaoshuo/">都市小说</a></li>
				<li><a href="/chuanyuexiaoshuo/">穿越小说</a></li>
				<li><a href="/wangyouxiaoshuo/">网游小说</a></li>
				<li><a href="/kehuanxiaoshuo/">科幻小说</a></li>
				<li><a href="/paihangbang/">排行榜单</a></li>
				<li><a href="/wanben/1_1">完本小说</a></li>
				<li><a href="/xiaoshuodaquan/">全部小说</a></li>
                <li><script type="text/javascript">yuedu();</script></li>
			</ul>
		</div>
        <div id="banner" style="display:none"></div>
		<div class="dahengfu"><script type="text/javascript">list1();</script></div>
"""

ini_sel = Selector(text=html)
result = ini_sel.xpath('//a').re('.*?href.*?xiaoshuo.*?/">')
print(result)

运行结果：

也可以使用 re_first 返回第一个符合的结果：

from parsel import Selector

html = """
<div class="nav">
    <div class="nav-head item">
        <h4>hello<h4>
    </div>
			<ul>
				<li><a href="https://www.qbiqu.com/">首页</a></li>
                <li><a href="/modules/article/bookcase.php">我的书架</a></li>
				<li><a href="/xuanhuanxiaoshuo/">玄幻小说</a></li>
				<li><a href="/xiuzhenxiaoshuo/">修真小说</a></li>
				<li><a href="/dushixiaoshuo/">都市小说</a></li>
				<li><a href="/chuanyuexiaoshuo/">穿越小说</a></li>
				<li><a href="/wangyouxiaoshuo/">网游小说</a></li>
				<li><a href="/kehuanxiaoshuo/">科幻小说</a></li>
				<li><a href="/paihangbang/">排行榜单</a></li>
				<li><a href="/wanben/1_1">完本小说</a></li>
				<li><a href="/xiaoshuodaquan/">全部小说</a></li>
                <li><script type="text/javascript">yuedu();</script></li>
			</ul>
		</div>
        <div id="banner" style="display:none"></div>
		<div class="dahengfu"><script type="text/javascript">list1();</script></div>
"""

ini_sel = Selector(text=html)

result = ini_sel.xpath('//a').re_first('href.*?"/(.*?)/">')
print(result)

运行结果：

至此parsel库就已经被我们基本掌握了，实际上它是结合Xpath、CSS选择器和正则表达式的一个题提取库，所以有相关的基础掌握起来就非常快啦！

今日结束，未完待续…