爬虫-使用xpath拿36KR的数据-xpath的学习与演练

最新推荐文章于 2024-04-23 14:08:57 发布
最新推荐文章于 2024-04-23 14:08:57 发布
阅读量319 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ifubing/article/details/102584058
版权

目标网站

首页_36氪
https://36kr.com/

界面展示

在这里插入图片描述

练习

取title标签，用到/符号

/符号，从根节开始选取

在这里插入图片描述

在这里插入图片描述

// 从当前节点往下找，可以跳着找

在这里插入图片描述

… 返回上一级标签

拿属性 @ 拿link里面的herf

@ 取标签的属性

在这里插入图片描述

拿文本 text()

拿所有a标签里包裹的文本内容

<a> xxyy </a>

取xxyy

在这里插入图片描述

拿所有a标签的链接地址

在这里插入图片描述

拿所有a标签下的所有样式

在这里插入图片描述

寻找标签，对属性有要求

需求

找样式为

home-flow-article-description ellipsis-2

div

取里面的内容

标签[@属性=‘值’]

在这里插入图片描述

获取 查找下一页的 链接地址

1，拿到更多资讯的标签

2，从标签 中取href的值

//a[@class='kr-home-flow-see-more']/@href

在这里插入图片描述

xpath的使用-通过xpath_helper进行的演练 - pyhui的python全栈技术博客 - CSDN博客
https://blog.csdn.net/ifubing/article/details/102501730

鲸鱼编程pyhui
关注
Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
12-03 2万+
1. 写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备的，预计在12月底，爬虫大概写到50篇案例的时刻，将会迎来一个新的内容，系统的数据分析博文，记得关注哦~ 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/ 2. 数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台...
python-关于爬虫爬取36kr数据
Ch_zhenhua的博客
08-24 1458
import json import requests import re class Kr36(object):     def __init__(self):         # 利用首页         self.url = 'https://36kr.com/'         self.headers = {             'User-Agent': 'Mozilla/5....
爬虫-36kr-使用xpath爬取数据-part1-提取接口所需的6开头的数字-拼接下一个接口的路径
pyhui的技术博客
10-17 444
import requests from lxml import etree class Spider(): def __init__(self): # 起始页 self.start_url = "https://36kr.com/" # 请求头 self.headers = {"user-agent":"Mozilla/5...
python ajax爬虫 --36Kr为例
soloflac的博客
05-10 3198
本文转自我的个人博客 最近在倒腾ajax爬虫，顺便记录一下过程。以36Kr “早期项目” 一栏为例，大致分为如下两步。解析索引页难点在于如何获取索引页的url。浏览器打开36Kr,按F12打开开发者工具，切换到Netwotk 面板。AJAX 一般是通过 XMLHttpRequest 对象接口发送请求的，XMLHttpRequest 一般被缩写为 XHR。所以点击XHR，清空监听到的内容。如下图:点
爬虫-36kr-接口分析-191016
pyhui的技术博客
10-16 1304
36kr爬虫 目标网站 首页_36氪 https://36kr.com/ 需求 写出爬取的代码 要爬所有的文章标题与文章url 分析网站 找接口，首页的文章内容在哪里 Request URL: https://36kr.com/ 找接口，第二页 接口直接在链接中 # 获取下一页内容 # 下一页url = 获取下一页内容（第一页HTML） # 思...
爬虫技术-Xpath解析数据.pptx
01-01
通过学习和掌握Xpath，我们可以高效地从网页中提取所需的数据。 首先，爬虫的基本流程包括：发起HTTP请求，向目标链接发送带有header和请求参数的Request；接收服务器响应，获取HTML内容；然后解析内容，提取有用...
24期爬虫-03-xpath数据解析-邓苏杭-歌曲排名.py
10-30
24期爬虫-03-xpath数据解析-邓苏杭-歌曲排名.py
24期爬虫-03-xpath数据解析1-陈麟.py
10-31
24期爬虫-03-xpath数据解析1-陈麟.py
网页爬虫-八爪鱼Xpath自定义数字翻页
weixin_46179600的博客
01-21 2756
网页爬虫-八爪鱼Xpath自定义数字翻页，解决八爪鱼傻瓜式设置循环翻页采集数据停滞的问题~
36krCrawler:采集36氪上所有帖子数据的爬虫，可采集后供数据分析的人测试使用
06-21
36krCrawler 采集36氪上所有帖子数据的爬虫，可采集后供数据分析的人测试使用。 运行mainClass即可。 采集的数据会放到data文件，目前有四个字段。 url#title#author#time#content data文件里是采集好的一批数据，供参考使用。
爬取新闻网站新闻列表的python程序
04-23
本程序可以爬取新闻网站的新闻列表，本代码以中国地质大学（武汉）官网为例，如果需要更换，可以直接更换baseURL，然后打开控制台分析代码结构，适当修改即可。
36Kr：2019年消费金融行业研究报告
12-14
2018年我国消费金融市场规模约8.45万亿元，预计2020年将达12万亿元，行业前景广阔。 2018-2019年，消费金融项目数量渐增，热度不减，但长尾明显，资本向头部项目集中。 目前从整体来看，消费金融市场竞争格局较为分散，尚未形成垄断局面。在传统银行、持牌消费金融、互联网消费金融领域均有领先的优势企业出现，各具特色，各有所长。 大数据分析、人工智能、物联网和区块链等金融科技的应用正在颠覆金融行业价值链。目前较为成熟的是大数据分析和人工智能，用以解决消费金融领域存在于贷前、贷中和贷后流程中的诸多痛点问题。 随着国内金融行业监管收紧，消费金融领域历经多年规范与洗牌，利润空间收窄，对客户需求和风险点识别要求更加精准，智能风控将成为消费金融发展的关键。
Python如何爬取微信公众号文章和评论(基于 Fiddler 抓包分析)
01-20
背景说明 感觉微信公众号算得是比较难爬的平台之一，不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制)，但后面会开始整理写一些实战出来。简单介绍下本次的开发环境： python3 requests psycopg2 (操作postgres数据库) 抓包分析 本次实战对抓取的公众号没有限制，但不同公众号每次抓取之前都要进行分析。打开Fiddler，将手机配置好相关代理，为避免干扰过多，这里给Fiddler加个过滤规则，只需要指定微信域名mp.weixin.qq.com就好： Fiddler配置Filter规则 平时关注的公众号也比较多，本次实战以“36氪
Python爬虫入门【18】： 36氪(36kr)数据抓取 scrapy
Python8年程序员教程分享
07-23 901
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/ 2. 36氪(36kr)数据----数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步...
python爬虫 - 爬取html中的script数据（36kr.com新闻信息）
最新发布
BullKing8185的博客
04-23 911
python爬虫 - 爬取html中的script数据（36kr.com新闻信息） 1. 分析页面内容数据格式 2. 使用re.findall方法，爬取新闻 3. 使用re.search 方法，爬取新闻
[完整爬虫]java爬虫基础对36Kr快讯数据进行爬取以及数据筛选过滤
qq_41873771的博客
10-24 1027
36Kr 也叫36氪,是一个我非常喜欢的网站,网罗天下资讯,而且页面整洁资讯一目了然,极大的开拓眼界,许多不管是金融方面科技方面我感觉是最新最全面,当然最终是准备爬取一下上面的资讯,当然是不会对对方服务器造成压力的情况下进行的爬取.
使用selenium爬取36氪
Talltle的博客
10-20 522
代码 代码分析 （图片在最下面） from selenium import webdriver chrome_driver=r"C:\Users\yandi\AppData\Local\Programs\Python\Python37-32\chromedriver.exe" driver=webdriver.Chrome(executable_path=chrome_driver) driver.get('https://36kr.com/') #获取资讯栏 driver.find_element_.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鲸鱼编程pyhui

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值