python获取页面li标签-a标签下href的值

最新推荐文章于 2022-12-06 14:34:48 发布
最新推荐文章于 2022-12-06 14:34:48 发布
阅读量8.4k 收藏 28
点赞数 6
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42583263/article/details/106281837
版权

在这里插入图片描述

def get_title_html(html_1):   #
    soup=BeautifulSoup(html_1,"html.parser")
    title_url_Date=soup.find('div',class_='clearfix dirconone').find_all('li')
    for i in title_url_Date:
        # print(i)
        url=i.find('a')['href']
        print(url）
大胖东
关注
  • 6
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
获取所有的 ＜li＞ 标签
zhaoyangjian724的专栏
11-30 2963
获取所有的<li>标签 <html><body><div> <ul> <li class="item-0">a01<a href="link1.html">first item</a></li&
python selenium 获取标签的属性值、内容、状态方法
12-25
获取标签内容 使用element.attribute()方法获取dom元素的内容，如： dr = driver.find_element_by_id('tooltip') dr.get_attribute('data-original-title') #获取tooltip的内容 dr.text #获取该链接的text 获取标签属性 link=dr.find_element_by_id('tooltip') link.value_of_css_property('color') #获取tooltip的CSS属性color的属性值 link.find_element_by_tag_name(
python小白爬取新浪li标签的超链接和内容
m0_53579703的博客
05-26 2448
新浪页面分析： 新浪的主页大部分新闻内容都是通过li标签列出来，然后再在li标签里面加个a标签，用来存超链接和内容 通过上面的分析，可以通过正则找到所有<li>><a></a></li>格式的标签，代码如下: import re import requests def getHTMLText(url): #得到HTML的网页 try: kv = { "user-agent": "Mozilla/5.0 (
Python Xpath 的使用
"大梦三千秋的博客
03-31 1175
关于 Xpath 的使用，包括 Xpath 语法，Xpath 节点，Xpath 轴等内容。
PHP代码：获取指定URL页面中的所有链接
叶落无痕的博客
03-10 616
以下代码可以获取到指定URL页面中的所有链接，即所有a标签的href属性： // 获取链接的HTML代码 $html = file_get_contents('http://www.example.com'); $dom = new DOMDocument(); @$dom->loadHTML($html); $xpath = new DOMXPath($dom); $hrefs = $xpath->evaluate('/html/body//a'); for ($i = 0; $
python必会的简单爬虫
qq_46006468的博客
07-11 526
爬取的网站： http://www.weather.com.cn/weather/101040100.shtml 一、下载第三方库 使用pip工具或者pycharm自带的interpreter。 使用pip下载失败问题解决见如下地址： https://blog.csdn.net/a19990412/article/details/82926079 第一种：需要下载requests库和beautifulsoup4第三方库 二、...
python-selenium遍历文件列表
liulanba的博客
03-31 3178
需求：遍历QQ邮箱的在线文档并下载： 审查一下元素，这一块也就是我们所需要的文件列表： 文件列表的xpath:/html/body/div[2]/div/div[2]/div[2]/div[2]/ul 每个文件的xpath:/html/body/div[2]/div/div[2]/div[2]/div[2]/ul/li[i] 这个就是下载按钮的页面元素！ 直接上代码： def download_onlinedoc(): global browser onlinedoc_button=
Python爬虫之PyQuery的用法
xiaoming0018的博客
01-17 439
python教程全解 1、安装 pip install pyquery 2、官方文档： https://pythonhosted.org/pyquery/ 3、初始化 （1）直接字符串 (pq 参数可以直接传入 HTML 代码，doc 现在就相当于 jQuery 里面的 $ 符号了) from pyquery import PyQuery as pq doc = pq("&lt;htm...
python提取html中的href标签,如何使用Python从HTML获取href链接？
weixin_30810127的博客
07-01 5326
原英文标题How can I get href links from HTML using Python?import urllib2website = "WEBSITE"openwebsite = urllib2.urlopen(website)html = getwebsite.read()print html到现在为止还挺好。但我只希望纯文本HTML中的href链接。 我怎么解决这个问题？9...
网页导航栏中常用li标签嵌套超链接用法
HCJS_Zee的博客
10-20 1万+
在网页中导航，菜单等部分的设计，需要使用到列表ul，其中的列表项li一般会嵌套a标签，超链接到指定url。在li标签嵌套a链接时，a链接中通常包含文字。 为了使文字居中，而且当点击li标签时，整个区域都可以响应到a链接，操作不是特别清晰，做了如下总结： 'index.html'>首页" 'staff.html'>员工风采 ''>部门精粹 ''>深入仓库 ''>我要登
06-python-标签-对象-各种绘图实例-默认设置
02-12
python学习笔记，包含标签，对象，各种绘图实例，默认设置
python 递归获取子文件夹下的文件名 和文件类别标签
12-21
深度学习中，常常要获取文件夹下文件名和类别，为提取训练数据和测试数据准备 本文采用的一个文件下的40类数据做实验： 最后保存成如下文件形式： 文件路径+文件名+类别标签 具体代码如下： # -*- coding: utf-8 -...
python烟花代码-02-获取标签元素.ev4.rar
最新发布
05-01
python烟花代码-02-获取标签元素.ev4.rar
Python 爬虫学习笔记（七(1)）xpath解析
湫兮如风i的博客
03-17 2259
爬取页面后最重要的是解析出我们想要的内容，xpath解析详细说明，包括不同语法等
python数据抓取_使用Python Request/lxml进行网页抓取：从ul/li获取数据
weixin_39968995的博客
11-24 397
我使用要求和LXML与的Python，我已经看到有很多关于网页抓取不同的模块，但没有任何理由在选择一个另一个？你可以使用request/lxml来做同样的事情吗？例如BeautifulSoup？无论如何，这里是我的实际的问题;这是我的代码：import requestsfrom lxml import html# Login datainputUrl = 'http://forum.mytests...
Python爬虫-网页数据的解析提取-Xpath
piaow_的博客
12-06 3454
Python爬虫-网页数据的解析提取-Xpath解析方式
Python爬虫获取某个网页所有的a标签中的超链接网址
热门推荐
极客星云-CSDN博客
04-02 3万+
Python 爬虫获取某个网页所有的a标签中的超链接网址
Python爬虫（二）--获取页面元素的href属性
weixin_45861658的博客
05-26 1万+
网页中单一类型数据的全部信息： 网页由多种元素组成，一个元素可能有多个属性，例如class,id,name,text,href,value等，本文以提取网页所有超链接信息为实例。相关步骤可参考Python爬虫（一） from bs4 import BeautifulSoup #导入架包 import requests #导入架包 r=requests.get('https://wuhaozhan.net/') #获取目标网址所有信息 demo=r.text #定义所有信
如何用Python批量爬取小红书帖子标签，并使用pandas库保存为Excel表格
03-27
1. 导入所需的库： ``` import requests from bs4 import BeautifulSoup import pandas as pd ``` 2. 定义函数用于爬取小红书帖子标签： ``` def get_tags(url): # 发送请求获取页面内容 response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 获取标签 tags = [] for item in soup.select('.note-topics .topic-item'): tags.append(item.text.strip()) return tags ``` 3. 定义函数用于爬取小红书帖子链接： ``` def get_links(page): # 发送请求获取页面内容 url = f'https://www.xiaohongshu.com/discovery/item/{page}' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 获取链接 links = [] for item in soup.select('.note-list li'): links.append(item.select_one('.title a')['href']) return links ``` 4. 定义主函数用于批量爬取小红书帖子标签，并使用pandas库保存为Excel表格： ``` def main(): # 定义要爬取的页数 pages = range(1, 11) # 定义要保存的数据列表 data = [] # 循环爬取每一页的链接，并获取标签 for page in pages: links = get_links(page) for link in links: tags = get_tags(link) data.append({'link': link, 'tags': tags}) # 将数据保存为Excel表格 df = pd.DataFrame(data) df.to_excel('tags.xlsx', index=False) ``` 5. 调用主函数开始爬取： ``` if __name__ == '__main__': main() ``` 以上代码可以批量爬取小红书帖子标签，并使用pandas库保存为Excel表格，你可以根据自己的需要进行修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大胖东

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值