用xpath库抓取丁香园指定页面内容

最新推荐文章于 2020-04-20 16:36:31 发布
最新推荐文章于 2020-04-20 16:36:31 发布
阅读量231 收藏
点赞数
分类专栏： 爬虫 文章标签： xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42540746/article/details/88129595
版权

跟之前用的美味汤一样，xpath也是python爬虫用的一个库，用法大致相似：
1、在Mac上打开chrome的指定网页，http://www.dxy.cn/bbs/thread/626626#626626 ，检查–>network–>All–>Name，找到626626，–>Headers–>Requests Headers,可以看到请求的User-Agent(使用的是post请求)。
在这里插入图片描述
2、下面在sublime里编写代码：
在这里插入图片描述
User_Agent没显示全，下面是全的：
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3717.0 Safari/537.36
3、在Mac终端运行sublime里的代码：
在这里插入图片描述
4、参考崔庆才xpath：
https://cuiqingcai.com/5545.html

564523909
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实战大项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容----登录第一步
weixin_44615857的博客
04-12 851
哎呀呀，先一步一步的来吧，我们知道要先登录才能查看全部的信息。好吧先去注册，记住账号和密码。 2、注册好了之后，先解决登录问题，可以看到有两个登录的地方，编号1、2. 打开网页，f12，先看看登录节点在哪里 看看第一个登录节点，登录节点和注册节点，名称一样的，但是登录在注册之前，第二个登录在注册之后。在定位节点的时候，1号的登录节点比较好找。因此查看属性，用xpath定位。 import t...
模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容
naonao77的博客
03-07 3946
丁香园直通车抓取页面链接 一.首先利用selenium登录网站，此部分重点： 1.切换到账号密码表单登录，我采用了利用style将display值变为block，代码如下： js1 = 'document.querySelector("#j_loginTab1").style.display="none";' browser.execute_script(js1)
0304网页爬虫-使用lxml+xpath爬取丁香园回复内容
Guiabbey的博客
03-04 252
1、XPath XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等。几乎所有我们想要定位的节点，都可以用XPath来选择。 2、XPath常用规则 3、实战 from lxml import etree import requests def get_html(url, headers):...
python--使用xpath爬取丁香园论坛的回复内容
_
03-04 253
一、学习内容 学习xpath，使用lxml+xpath提取内容。 使用xpath提取丁香园论坛的回复内容。 丁香园直通点：http://www.dxy.cn/bbs/thread/626626#626626 二、代码示例 import requests from lxml import etree def dx_reply(): url = 'http://www.dxy.cn/bb...
python爬虫使用Xpath爬取指定位置的内容
weixin_30515513的博客
02-27 910
今天学习python的爬虫方法，发现用python来进行爬虫是真的舒服省事。该方法主要使用的是创建树形结构，利用xpath来定位。然后进行爬取 代码及结果如下： #coding:utf-8 import importlib,sys importlib.reload(sys) from lxml import etree import requests from chardet i...
教科书式爬虫：由浅入深爬取丁香园
简说Python的博客
09-17 1425
前言X先生最近太忙了，昨天刚刚完成数学建模比赛（过程很复杂，很辛酸），明天或后天给大家分享数学建模掉头发的故事，马上上课，天天几乎满课，时间真的滴滴答答的在走，恐慌和抱怨...
爬虫系列之爬取丁香园用户主页(上)
Francis的博客
09-14 1622
目录0.写在前面1.分析页面2.获取页面源码3.解析数据4.数据存储及导出4.1 数据存储4.2 数据导出5.pandas实现导出6.面向对象封装0.写在前面 目标页面h...
模拟登陆并抓取丁香园全部回复
dengzhh3的博客
05-17 242
大实战： # -*- coding: utf-8 -*- """ Created on Thu May 16 13:25:11 2019 @author: 38418 """ import requests from lxml import etree from selenium import webdriver import time headers = { 'User-Agent'...
爬虫 -----beautifulsoup、Xpath、re （二）附爬取丁香园用户名以及回复内容
疯子书生的博客
04-20 548
目录1.Xpath简介1.1使用流程：1.2Xpath常用的路径表达式1.3 使用lxml解析2 实战：爬取丁香园-用户名和回复内容2.1 获取url的html2.2 lxml解析html2.3 利用Xpath表达式获取user和content（完成xpath的语句）2.4 保存爬取的内容 1.Xpath简介 XPath即为XML路径语言（XML Path Language），它是一种用来确定XM...
《Java应用技术》作业，丁香园疾病百科爬虫.zip
03-08
请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则...
Task 02 Xpath(2.2)
12-21
例如，要从丁香园论坛的网页中提取用户名称和回复内容，可以这样做： ```python from lxml import etree import requests url = "http://www.dxy.cn/bbs/thread/626626#626626" req = requests.get(url) ...
实战大项目：模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容----爬取第二步
weixin_44615857的博客
04-13 726
接着上一步模拟登录操作。学了两天的session 了没有搞定登录。还是回到selenium模拟登录爬取。但是验证码这一块，没有搞定，在文中用的人工辅助登录成功。代码太丑，实在是无言面对同行。 import time from selenium import webdriver import csv from lxml import etree browser = webdriver.Fire...
使用beautifulsoup提取内容
weixin_42540746的博客
03-03 2552
使用beautifulsoup提取丁香园网页内容 Mac电脑打开chrome浏览器，打开要抓的网页，检查： 上代码： import urllib.request from bs4 import BeautifulSoup as bs def main(): headers = { “User-Agent”: “User-Agent: Mozilla/5.0 (Macintosh; Intel M...
抓取西刺代理，并构建自己的代理池
weixin_42540746的博客
03-07 1840
1、IP地址： 互联网协议地址（Internet Protocol Address，又译为网际协议地址），缩写为IP地址（IP Address），是分配给用户上网使用的网际协议（IP）的设备的数字标签。常见的IP 地址分为IPv4与IPv6两大类，但是也有其他不常用的小分类。 IP地址由32位二进制数组成，为便于使用，常以XXX.XXX.XXX.XXX形式表现，每组XXX代表小于或等于255...
使用selenium模拟登陆163邮箱
weixin_42540746的博客
03-05 929
selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。在用python写爬虫的时候，主要用的是selenium的Webdriver。 1、Mac终端安装selenium 2、模拟登陆163邮箱 import time from selenium import webdriver br = webdriver.Chrome() br....
get、post请求
weixin_42540746的博客
02-28 94
get、post请求搜狐主页 1、浏览器url栏输入搜狐主页 http请求形式(NetworkNameHeaders~Request Headers~view parsed)：请求行(GET / HTTP/1.1)、请求头()、请求体(POST请求才有请求体) 2、ipython3交互模式导入requests模块 3、断网时的结果 ...
2024-2030全球与中国硅胶婴儿用品市场现状及未来发展趋势 Sample-Li Jinpan.pdf
最新发布
09-05
QYResearch是全球知名的大型咨询公司，行业涵盖各高科技行业产业链细分市场，横跨如半导体产业链（半导体设备及零部件、半导体材料、集成电路、制造、封测、分立器件、传感器、光电器件）、光伏产业链（设备、硅料/硅片、电池片、组件、辅料支架、逆变器、电站终端）、新能源汽车产业链（动力电池及材料、电驱电控、汽车半导体/电子、整车、充电桩）、通信产业链（通信系统设备、终端设备、电子元器件、射频前端、光模块、4G/5G/6G、宽带、IoT、数字经济、AI）、先进材料产业链（金属材料、高分子材料、陶瓷材料、纳米材料等）、机械制造产业链（数控机床、工程机械、电气机械、3C自动化、工业机器人、激光、工控、无人机）、食品药品、医疗器械、农业等。
用Xpath怎么抓取网上图片
06-02
下面是一个示例代码，演示如何使用 Python 和 XPath 抓取指定网站上的所有图片： ```python from lxml import html import requests url = 'https://www.example.com' response = requests.get(url) tree = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值