python爬虫：使用request和xpath

最新推荐文章于 2024-05-14 22:18:18 发布
最新推荐文章于 2024-05-14 22:18:18 发布
阅读量1k 收藏 2
点赞数 1
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/boomsoap/article/details/102575965
版权

先使用request对页面进行Html的解析时用utf9编码

 

data = requests.get(url,cookies={'JSESSIONID':'301D98D176495CA77A115D520E63302B'}).content.decode('utf-8')
    dom_tree = etree.HTML(data)

 

用etree的html函数带入后就可以用xpath进行选择

links=dom_tree.xpath("/html/body/div[2]/div[2]/ul/li[2]/h2")

返回的是个字典类型，用for取出它的值

for index in range(len(links)):
     
        print(links[index].text)

 

s0ap
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Requests&XPATH
weixin_43706478的博客
09-09 443
Requests Requests其实就是把一些urllib的方法封装 用起来更简单 1.安装Requests pip3 install requests 2.导入Requests import requests GET url = 'http://college.gaokao.com/schlist' headers = { 'User-Agent':'Mozilla...
requests和xpath
st13294549321的博客
09-09 290
requests_get print(response.text) #页面源码 print(response.status_code) #状态码 print(response.headers) #响应头 print(response.request.headers) #获取请求头 print(response.content) #获取页面的二进制数据 如果获取的是json字符串，可以调用jso...
Request模块和Xpath
小方块的博客
01-03 549
requests模块 1、安装 Linux sudo pip3 install requests Windows 方法一 进入cmd命令行 ：python3 -m pip install requests 方法二 右键管理员进入cmd命令行 ：pip3 install requests 2、requests.get() 作用：向网站发起请求,并获取响应对象 res = requests.get(url,headers=headers,timeout = 10) # requests.post
python爬虫：requests+xpath
最新发布
lhl0306的博客
05-14 876
requests+xpath实现爬虫
Python爬虫requests包和xpath包总结
DedicateToAI的博客
02-01 1340
import requests # 这里的headers就是我们上图框中的headers request_headers = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Encoding': 'gzip,...
python中request、lxml、xpath使用
Bunny的博客
06-19 646
python中request、lxml、xpath使用
python爬虫学习，包括urllib，request，xpath，scrapy等
01-18
python爬虫学习，包括urllib，request，xpath，scrapy等
Python爬虫项目：爬取某内涵网站指定页数的图片
12-22
需要提前掌握XPATH的相关知识！ import requests from lxml import etree from urllib.request import urlretrieve # 函数作用： # 对页面发起请求并接收响应... # 把响应的内容转换成可以使用的XPATH匹配的内容 html
Spider:爬虫python3 (request,BeautifulSoup,xpath,re,Selenium,wordcloud等模块)
04-28
《爬虫基础学习（总结）》模块库: cookie&代理package/6wordcloud&jieba 词云功能包名作用数据获取request爬取网页数据 解析re正则表达式BeautifulSoupxpathxpath语法来进行文件格式解析lxmllxml库结合libxml2快速...
python爬虫爬取幽默笑话网站
09-18
Python爬虫技术在数据获取和信息处理中扮演着重要角色，尤其在抓取网页内容时。本案例中，我们将探讨如何使用Python爬虫来爬取一个幽默笑话网站，以获取并整理网页上的笑话内容。首先，我们需要访问目标网站：...
零基础python爬虫48小时速成
08-16
071.07上下文扩展和Dao设计，mp4 082.01回顾知识点.mp4 092.02requests各方法及参数讲解.mp4 102.03requests的请求实战及Response对象.mp4 112.04xpath解析的应用.mp4 122.05古诗文网的爬虫.mp4 132.06request的...
Python使用requests xpath 并开启多线程爬取西刺代理ip实例
09-17
主要介绍了Python使用requests xpath 并开启多线程爬取西刺代理ip实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python 爬虫 requests、re、xpath模块的使用
weixin_62859191的博客
08-07 698
发送post请求，数据必须是字典，通过data参数传递，返回响应。使用 get 进行爬取，返回响应，用 text 转换成文本形式。也可以直接输入：pip install requests。需要导入模块：import requests。将服务器返回的数据转换成json，也就是字典。匹配字符串所有符号条件的内容，匹配字符串所有符合正则的内容。准备一个网址：url。.........
xpath与requests的使用
panda的博客
08-13 783
文章目录一.requests的使用二.xpath解析库的安装与使用三.使用requests爬取网站四.总结 一.requests的使用 在上篇文章中给大家演示了一下使用urllib模块中的request爬取豆瓣电影, 相信大家练习过后都会觉得很简单, 今天带大家开始使用requests模块了, 关于requests的介绍与安装在上篇文章中已经有过描述, 这里就不再叙述了. requests的...
Python网页抓取：获取页面中某段内容的xpath
热门推荐
Kerwin的工作日志
05-09 1万+
<br />     在批量抓取网页内容时，我经常采用的做法是：1、得到目标内容在网页中的位置，即xpath路径；2、批量下载网页，然后利用xpath，取出每个网页中所需要的内容。<br />     在这里，我们利用python模块lxml。<br />     以谷歌翻译为例，我要批量抓取翻译内容，那么首先我要知道译文的xpath，代码如下：<br />     import urllib,urllib2 import lxml import lxml.html as HTML import lx
python2.7.x+request+xpath爬取腾讯招聘信息
斧冰
12-08 391
依然采用是requests和xpath，因为是简单爬虫的入门教程，边学边记录。 腾讯招聘的url是https://hr.tencent.com/position.php 点击下面的第2页，得到url：https://hr.tencent.com/position.php?&amp;start=10#a 再点击第一页，得到url：https://hr.tencent.com/position.php...
python爬虫教程：python3 xpath和requests应用详解
python爬虫教程
03-12 6065
这篇文章主要介绍了python3 xpath和requests应用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧 根据一个爬取豆瓣电影排名的小应用，来简单使用etree和request库。 etree使用xpath语法。 import requests import ssl from lxml import etree ssl._create_default_http...
request+xpath
benben0729的专栏
07-05 1371
requests和xpath总结
weixin_43706536的博客
09-09 381
#如果出现了证书认证ssl ca证书错误 #verify：Defaults to ``True``，默认为true,表示进行证书认证 #如果出现了证书认证ssl ca证书错误修改verify为False，表示忽略证书认证
对Python爬虫做个介绍，讲述一下urllib的基本用法和高级用法以及xpath的使用。
07-20
1. 发送GET请求：使用urllib.request模块中的urlopen()函数发送GET请求，获取页面内容。 ```python from urllib.request import urlopen response = urlopen("http://example.com") content = response.read()....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值