Python爬虫笔记（二）

最新推荐文章于 2023-02-21 11:06:35 发布
最新推荐文章于 2023-02-21 11:06:35 发布
阅读量190 收藏
点赞数
分类专栏： python学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41821422/article/details/100764655
版权

使用lxml中的语法，利用etree进行解析html文件，将其转换为etree语法。
Xpath语法：
例如获得了html中的文字，现在要处理文字中的逻辑，使用可以使用lxml中。

from lxml import etree
parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse("tencent.html",parser=parser)

之后获取解析后的html文件进行数据处理
获取html有两种方法：
一种是获取本地文件，使用etree中的parse方法进行本地文件处理

html = etree.parse("tencent.html",parser=parser)

第二种是利用etree中的HTML方法，这种方法可以将requests.get(url)中获取到的字符串进行处理：

htmlElement = etree.HTML(text)
print(etree.tostring(htmlElement,encoding='utf-8').decode("utf-8"))

然后对获取的数据进行数据提取，

# #1.获取所有的tr标签
# #xpath函数获取的是一个列表
# trs = html.xpath("//tr")
# for tr in trs:
#     print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))

#
# 2.获取第二个标签
# trs  = html.xpath("//tr[2]")[0]
# print(etree.tostring(trs,encoding='utf-8').decode('utf-8'))

# #3.获取所有class等于even的tr标签
# trs = html.xpath("//tr[@class = 'even']")
# for tr in trs:
#     print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))


# #4.获取所有a标签的href值
# trs = html.xpath("//a/@href")
# for tr in trs:
#     print(tr)

这里具体有几种方法：
1.直接获取tr标签，输出是带着tr标签一起输出
2.获取指定标签（一个），主要是利用了列表中的下表标进行提取
3.通过class等属性获取具体标签，可以更方便获取属性
4.获取指定值，一般这个比较常用，用来提取链接，通过/@加属性名可以获取具体属性的值
最后输出结果

<tr class="h">&#13;
            <td class="l" width="374">职位名称</td>&#13;
            <td>职位类别</td>&#13;
            <td>人数</td>&#13;
            <td>地点</td>&#13;
            <td>发布时间</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=33824&amp;keywords=python&amp;tid=87&amp;lid=2218">22989-金融云区块链高级研发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-25</td>&#13;
        </tr>&#13;
        
<tr class="odd">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=29938&amp;keywords=python&amp;tid=87&amp;lid=2218">22989-金融云高级后台开发</a></td>&#13;
            <td>技术类</td>&#13;
            <td>2</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-25</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=31236&amp;keywords=python&amp;tid=87&amp;lid=2218">SNG16-腾讯音乐运营开发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>2</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-25</td>&#13;
        </tr>&#13;
        
<tr class="odd">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=31235&amp;keywords=python&amp;tid=87&amp;lid=2218">SNG16-腾讯音乐业务运维工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-25</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=34531&amp;keywords=python&amp;tid=87&amp;lid=2218">TEG03-高级研发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
        
<tr class="odd">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=34532&amp;keywords=python&amp;tid=87&amp;lid=2218">TEG03-高级图像算法研发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=31648&amp;keywords=python&amp;tid=87&amp;lid=2218">TEG11-高级AI开发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>4</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
        
<tr class="odd">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=32218&amp;keywords=python&amp;tid=87&amp;lid=2218">15851-后台开发工程师</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=32217&amp;keywords=python&amp;tid=87&amp;lid=2218">15851-后台开发工程师</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
        
<tr class="odd">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=34511&amp;keywords=python&amp;tid=87&amp;lid=2218">SNG11-高级业务运维工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
    
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=33824&amp;keywords=python&amp;tid=87&amp;lid=2218">22989-金融云区块链高级研发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-25</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=33824&amp;keywords=python&amp;tid=87&amp;lid=2218">22989-金融云区块链高级研发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-25</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=31236&amp;keywords=python&amp;tid=87&amp;lid=2218">SNG16-腾讯音乐运营开发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>2</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-25</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=34531&amp;keywords=python&amp;tid=87&amp;lid=2218">TEG03-高级研发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=31648&amp;keywords=python&amp;tid=87&amp;lid=2218">TEG11-高级AI开发工程师（深圳）</a></td>&#13;
            <td>技术类</td>&#13;
            <td>4</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
        
<tr class="even">&#13;
            <td class="l square"><a target="_blank" href="position_detail.php?id=32217&amp;keywords=python&amp;tid=87&amp;lid=2218">15851-后台开发工程师</a></td>&#13;
            <td>技术类</td>&#13;
            <td>1</td>&#13;
            <td>深圳</td>&#13;
            <td>2017-11-24</td>&#13;
        </tr>&#13;
        
position_detail.php?id=33824&keywords=python&tid=87&lid=2218
position_detail.php?id=29938&keywords=python&tid=87&lid=2218
position_detail.php?id=31236&keywords=python&tid=87&lid=2218
position_detail.php?id=31235&keywords=python&tid=87&lid=2218
position_detail.php?id=34531&keywords=python&tid=87&lid=2218
position_detail.php?id=34532&keywords=python&tid=87&lid=2218
position_detail.php?id=31648&keywords=python&tid=87&lid=2218
position_detail.php?id=32218&keywords=python&tid=87&lid=2218
position_detail.php?id=32217&keywords=python&tid=87&lid=2218
position_detail.php?id=34511&keywords=python&tid=87&lid=2218

这里要注意的是在浏览器中解析时会在前面自动加上头域名，但是爬虫不会，所以需要自己加入

# xpath语法：

## 使用方式：
使用//获取整个页面当中的元素，然后写标签名，然后再写谓词进行提取。比如：
```
//div[@class='abc']
```

## 需要注意的知识点：
1. /和//的区别：/代表只获取直接子节点。//获取子孙节点。一般//用得比较多。当然也要视情况而定。
2. contains：有时候某个属性中包含了多个值，那么可以使用`contains`函数。示例代码如下：
    ```
    //div[contains(@class,'job_detail')]
    ```
3. 谓词中的下标是从1开始的，不是从0开始的。

## 使用lxml解析HTML代码：
1. 解析html字符串：使用`lxml.etree.HTML`进行解析。示例代码如下：
    ```python
    htmlElement = etree.HTML(text)
    print(etree.tostring(htmlElement,encoding='utf-8').decode("utf-8"))
    ```
2. 解析html文件：使用`lxml.etree.parse`进行解析。示例代码如下：
    ```python
    htmlElement = etree.parse("tencent.html")
    print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))
    ```
    这个函数默认使用的是`XML`解析器，所以如果碰到一些不规范的`HTML`代码的时候就会解析错误，这时候就要自己创建`HTML`解析器。
    ```python
    parser = etree.HTMLParser(encoding='utf-8')
    htmlElement = etree.parse("lagou.html",parser=parser)
    print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))
    ```

    ## lxml结合xpath注意事项：
    1. 使用`xpath`语法。应该使用`Element.xpath`方法。来执行xpath的选择。示例代码如下：
        ```python
        trs = html.xpath("//tr[position()>1]")
        ```
    `xpath函数`返回来的永远是一个列表。
    2. 获取某个标签的属性：
        ```python
        href = html.xpath("//a/@href")
        # 获取a标签的href属性对应的值
        ```
    3. 获取文本，是通过`xpath`中的`text()`函数。示例代码如下：
        ```python
        address = tr.xpath("./td[4]/text()")[0]
        ```
    4. 在某个标签下，再执行xpath函数，获取这个标签下的子孙元素，那么应该在斜杠之前加一个点，代表是在当前元素下获取。示例代码如下：
        ```python
         address = tr.xpath("./td[4]/text()")[0]
        ```
月光如春风拂面
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【最全笔记】基础Python爬虫入门，看完包你会写爬虫
没有人的博客
02-29 992
第一章 网络爬虫之规则 一、Requests库入门 request库:http://www.python-requests.org 安装方法：pip install requests 抓取百度 import requests r=requests.get("http://www.baidu.com") r.status_code r.encoding='utf-8' r.text re...
python 爬虫学习笔记
03-09
Python 爬虫学习笔记 本文将详细介绍 Python 爬虫学习笔记的知识点，涵盖爬虫基础、网络和前端基础、Requests 模块、请求头、GET 和 POST 请求、代理、Cookie 模拟登录、Quote 和 Unquote、登录和获取 Cookie、Post...
Python爬虫篇：爬虫笔记合集
热门推荐
五包辣条的博客
04-20 3万+
学习爬虫你完全可以理解为找辣条君借钱（借100万），首先如果想找辣条借钱那首先需要知道我的居住地址，然后想办法去到辣条的所在的（可以走路可以坐车），然后辣条身上的东西比较多，有100万，打火机，烟，手机衣服，需要从这些东西里面筛选出你需要的东西，拿到你想要的东西之后我们就可以去存钱，
Python爬虫 小白入门笔记汇总
weixin_55154866的博客
11-07 407
**这篇是纯干货分享，对python感兴趣的可以认真看起来！** 小白想要入门Python爬虫，首先得了解爬虫的基本工作原理和相关的理论基础，爬虫简介部分就不细说了，都可以百度得到。 **爬虫工作原理总结来讲就是四部曲：** **发送请求-获取页面-解析页面-保存内容**
Python爬虫笔记（一）
懂你意思啊的博客
01-10 1878
目录 Python爬虫笔记 一、爬虫简介 1、爬虫是什么？ 2、爬虫的技术价值 二、简单的爬虫架构 1、简单爬虫架构 2、简单爬虫的运行流程 三、爬虫架构分析 1、URL管理器 2、网页下载器 3、网页解析器 Python爬虫笔记 一、爬虫简介 1、爬虫是什么？ 爬虫：一段自动抓取互联网信息的程序。 如图： 如图所示，爬虫就是从互联网中的一个URL出发，访问它...
python爬虫笔记（一）
月光如春风拂面
09-12 146
python爬虫中主要分为两个方面： 数据获取和数据处理： 首先是数据获取 利用python中requests模块： 在cmd中直接用pip指令安装： pip install requests 安装后在py文件中导入模块 import requests 首先设置头部文件： 头部文件主要包括cookie和User-Agent还有Referer三部分 cookie：主要负责导入登录信息，储存账号密码之...
python爬虫笔记.zip
01-04
Python是一种解释型的、面向对象的、带有动态语义的高级程序设计语言。它是由荷兰人吉多·罗萨姆于1989年发布的，第一个公开发行版发行于1991年。Python注重解决问题的方法，而不是语法和结构。它被广泛应用于各个...
Python爬虫笔记！！！
03-10
"Python爬虫笔记" Python爬虫笔记是指使用Python语言来实现网络爬虫程序的技术笔记。爬虫程序可以模拟人类请求网站行为，自动请求网页、抓取数据，并使用一定的规则提取有价值的数据。 爬虫的实际例子包括搜索引擎...
python爬虫-mast笔记
05-31
在本篇Python爬虫-mast笔记中，我们将深入探讨Python爬虫的基本概念、常用库和实战技巧，帮助你掌握这一强大的数据获取工具。 首先，Python之所以在爬虫领域广泛应用，得益于其简洁明了的语法和丰富的第三方库。...
基于python的爬虫笔记
04-20
#### 二、Python爬虫概述 Python爬虫主要通过HTTP协议与目标服务器进行交互，获取网页源代码，再利用正则表达式、XPath或CSS选择器等技术提取所需信息。在实际开发过程中，我们经常使用以下几种库和技术： 1. **...
用python+selenium库爬洛谷题库（人生第一个爬虫）
01-20
用python+selenium库爬洛谷题库（人生第一个爬虫）心得代码 心得 开始前的工作： 我选择用scrapy框架来写爬虫，安装scrapy框架也是一个挺艰辛的路程。我先尝试不用国内镜像网站来安装，果然不行；然后使用国内镜像网站,代码:pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple ，速度果然飞起但最后还是安装失败。上CSDN上找原因，发现还需要先安装一个twisted库，需要在https://www.lfd.uci.edu/~gohlke/pythonlibs/上找到跟本机python版本和位数一致的版本下载，
python 爬虫笔记 一
悦信安In4sec
02-26 444
最近看一些公开课，看完自己动手写一遍，一天进步一点。 有些地方还是要做下笔记，方便以后遇到查看 **######################################################## import requests import urllib search_words=input('请输入要搜索的内容：') pages= int(input('请输入要搜...
Python爬虫笔记汇总
weixin_55154866的博客
11-17 432
文中介绍的比较详细的有，requests库，urllib.request库，BeautifulSoup库，re库和正则表达式，Scrapy常用命令。..
用python写网络爬虫学习笔记（一）
翎羽飘的小分享
01-12 328
1. 写爬虫一般用的都是python，pip是python很重要的管理工具，相当于npm置于javascript吧。 在Mac上安装pip：sudo easy_install pip2. builtwith模块：用于检查网站构建的技术类型。pip install builtwith3. python-whois查询网站所有者pip install python-whois4. 第一个爬虫脚本im
python爬虫笔记-持续更新
进阶的小橙子
01-26 476
爬虫主要分为两个部分，第一个是网页界面的获取，第二个是网页界面的解析；爬虫的原理是利用代码模拟浏览器访问网站，与浏览器不同的是，爬虫获取到的是网页的源代码，没有了浏览器的翻译效果。 这里我们使用urllib2进行网站页面的获取；首先导入urllib2模块包 import urllib2  调用urllib2中的urlopen方法链接网站，代码如下repr=urllib2.urlope
Python学习笔记-网络爬虫基础
向往的是：佛祖堂前的鱼，静静听禅。
01-16 1802
网络爬虫概述网络爬虫又称网络蜘蛛、网络机器人，在某社区中经常被称为网页追逐者。网络爬虫可以按照指定规则自动浏览或抓取网络中的信息，python可以很轻松的编写爬虫程序或脚本。
Python中关于Requests的一些问题
Cloth的博客
02-21 656
2、Requests 模块传参有四种方式：params、data,、JSON 和 files。之前一直用data传参，直到最近遇到一次请求不断返回参数错误，后来发现要和Content-Type字段对应上，如果Content-Type设置为json格式的话那传参也最好用json。1、请求头中字段Content-Length的设置必须是精确的长度，如果设置得过大就会等待数据，一直无响应直到超时，如果设置得过小请求会被截断，而且下一个请求解析出现错乱。
python学习菜单
凌逆战的博客
09-20 804
&#13; 一、python简介&#13; 二、python字符串&#13; 三、列表&#13; 四、集合、元组、字典&#13; 五、函数&#13; 六、python 模块&#13; 七、python 高阶函数&#13; 八、python 装饰器&#13; 九、python 迭代器与生成器&#13; python 文件&#13; python 错误与异常&#13; pytho...
python3解析库lxml
weixin_30689307的博客
06-23 119
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高 XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索 XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，...
尚硅谷python爬虫笔记
最新发布
07-07
尚硅谷的Python爬虫笔记通常会涵盖基础知识到实战技巧的内容。它可能会包括以下几个部分： 1. **Python基础**：教授如何安装并配置Python环境，以及常用的Python库如requests、BeautifulSoup或Scrapy的基本用法。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

月光如春风拂面

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值