3.32 小猪短租的爬虫-

最新推荐文章于 2022-08-01 22:28:22 发布
最新推荐文章于 2022-08-01 22:28:22 发布
阅读量572 收藏 1
点赞数 2
分类专栏： python爬虫 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w896932/article/details/111244530
版权
本文介绍如何构建小猪短租网站的爬虫，通过编写URL获取函数抓取主页上的房源详情页链接。进一步，从详情页中提取房源的标题、价格和评论等关键信息。然而，由于IP反爬策略，实际操作中遭遇了返回错误网页的问题，导致爬虫无法正常运行。
摘要由CSDN通过智能技术生成

 够造主网页的url获取函数，从主网页中获取到详情页的链接，从详情页中获取到标题，价格，评论等内容

 

这里因为ip反爬，返回的是错误的网页，所以后续失败

#这里进行了反爬，返回的网页进行了重定向，不是自己要爬的网址

from bs4 import BeautifulSoup
import requests
import time			#导入相应的库文件
url ="https://bj.xiaozhu.com/fangzi/1047842478.html"	
headers = {
        "Cookie": "abtest_ABTest4SearchDate=b; sajssdk_2015_cross_new_user=1; distinctId=17663eb00672c9-0d67d3dfd2265d-e726559-2073600-17663eb006841a; Hm_lvt_92e8bc890f374994dd570aa15afc99e1=1607994115,1608023687; xzuuid=87961465; xzuinfo=%7B%22user_id%22%3A153018699197%2C%22user_name%22%3A%2217317126846%22%2C%22user_key%22%3A%223d865d010085%22%2C%22user_nickName%22%3A%22wangwangluo123%22%7D; xzucode=1e98f258b6137a484cf910d72d023371; xzucode4im=ac7725f797e9e2a2b0ad8cdbe1351291; xztoken=WyIwMTA1MTIyNjE1V0xoRCIseyJ1c2VyaWQiOjE1MzAxODY5OTE5NywiZXhwaXJlIjowLCJjIjoid2ViIn0s
最低0.47元/天 解锁文章
哈哈哈浩瀚海洋
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
小猪短租爬爬爬
Yuka_bro
10-20 679
用beautifulsoup快速抓取小猪短租的信息.......(小白踩雷！！！)
Python爬虫实战--小猪短租爬虫
雾里看花
11-15 3222
爬虫项目1[爬取小猪短租数据]
Yanghongru的博客
03-02 1085
看了这个大神的博客—爬虫项目合集,自己也动手实践一下 请求:requests 解析:xpath 思路:找到起始网页(第一页),爬取初识网页的数据,获取下一页的链接,爬取下一页的数据,以此类推 非常简单,直接放代码: import requests from lxml import etree source_url = "http://bj.xiaozhu.com/" # 以北京地区为例 hea...
Python爬虫||BeautifulSoup4库-以小猪短租为例
weixin_45072139的博客
06-28 371
由于上次的文章被同学吐槽了，正则表达式过于麻烦
利用python爬取租房信息网_Python3爬虫实战：以爬取小猪短租租房信息为例
weixin_39772652的博客
12-11 405
本文以爬取小猪短租租房信息为例。首先进入主页后选择深圳地区的位置。地址如下：http://sz.xiaozhu.com/一、标题爬取按照惯例，我们先复制标题的xpath信息，多复制几个进行对比：//*[@id="page_list"]/ul/li[1]/div[2]/div/a/span//*[@id="page_list"]/ul/li[2]/div[2]/div/a/span//*[@id="...
Jon-Setup-1.3.3.32-Win64-zh_CN.zip
最新发布
04-26
1. **Jon-Setup-1.3.3.32-Win64.exe**：这是主要的安装程序文件，它的命名格式通常用于表明软件的名称（Jon）以及版本号（1.3.3.32）。".exe"扩展名表示这是一个可执行文件，用户双击后可以在Windows环境下运行以...
gnome-classic-session-3.32.1-14.el8.noarch.rpm
12-13
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
SymbolicC 3-3.32 ---MinGW
04-26
《SymbolicC++ 3-3.32在MinGW环境下的编译与应用》 Symbolic C++ 是一种强大的编程工具，它扩展了C++语言，使得在程序设计中可以方便地处理数学符号和表达式。这个版本，Symbolic C++ 3-3.32，特别强调了在MinGW...
声影制作家(3D-Album-CS)3.32升级包 3D-Album.PicturePro.Platinum
04-03
《声影制作家》(3D Album Picturepro)是一款强大的3D相册制作软件，它提供了丰富的创意工具，让用户能够将普通照片转化为令人惊叹的3D动态...通过下载并安装3D-Album-CS-3.32-Update.exe，用户即可立即体验这些改进。
gnome-shell-3.32.2-34.el8.x86_64.rpm
01-17
官方离线安装包，测试可用。请使用rpm -ivh [rpm完整包名] 进行安装
python爬取网上租房信息_Python爬虫入门 | 5 爬取小猪短租租房信息
weixin_39525255的博客
01-15 284
小猪短租是一个租房网站，上面有很多优质的民宿出租信息，下面我们以成都地区的租房信息为例，来尝试爬取这些数据。1.爬取租房标题按照惯例，先来爬下标题试试水，找到标题，复制xpath。多复制几个房屋的标题 xpath 进行对比：//*[@id="page_list"]/ul/li[1]/div[2]/div/a/span//*[@id="page_list"]/ul/li[2]/div[2]/div/...
xpath爬取小猪短租信息
castingA3T的博客
01-01 1341
import requests from lxml import etree import time headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
获取小猪民宿（短租）数据
qq_44902227的博客
08-01 697
通过扣取js，发现是先将接口进行md5加密，作为key，然后将请求参数进行排序和接口拼接，最后通过HmacSHA1加密得到，下面进行测试。总结本篇文章是将数据写入excel文件，当然你也可以写入数据库，通过storeId进行表关联来进行查询数据，以上就是全部内容了。发现和接口返回的gatesign值一模一样，后面就是构造请求了，先测试两页。注关于fiddler配置问题自行百度，网上教程很多。经过对比，如下参数是可变参数，其他可固定。利用fiddler抓包。......
使用BeautifulSoup爬取小猪短租的租房信息
诺坎普奇迹的博客
11-29 2841
直接上代码 没有添加间隔时间 几页之后就被封了 #！／user/bin/env python #-*- coding:utf-8 -*- from bs4 import BeautifulSoup import requests import re #函数求详细信息 def get_detail(urls): web_data = requests.get(urls) soup
Python爬虫入门 | 5 爬取小猪短租租房信息
Python学习部落
04-26 3774
点击上方蓝色字体，关注我们15小猪短租是一个租房网站，上面有很多优质的民宿出租信息，下面我们以成都地区的租房信息为例，来尝试爬取这些数据。小猪短租（成都）页面：http:...
疫情过去女朋友想去重庆玩，python批量爬取小猪短租重庆民宿信息
cc的博客
03-05 1381
疫情过去女朋友想去重庆玩，python批量爬取小猪短租重庆民宿信息 随着时间的流逝，在中国共产党的领导，全国人民的共同努力下，疫情逐渐受到了控制，逐渐好转，复工，开学有望。最近在和女朋友的闲聊当中得知她想五一去重庆你玩儿，上完网课后，闲来无事，就想的能不能直接把小猪短租上的重庆住宿信息批量爬取下来，顺便为自己的爬虫能力做做练习，话不多说，直接开整！ 首先打开小猪短租的网页，给出第一页的 url： ...
python爬虫--爬取小猪网的租房信息
qq_36791003的博客
04-13 425
python爬虫–爬取小猪网的租房信息 Pycharm简介 PyCharm是一种Python IDE，带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。 算法介绍 （1）复制标题的xpath信息，写出标题的通用 ...
四周实现爬虫系统（2）---爬取租房信息
小倔驴
10-13 3333
爬取小猪短租网 –300个详情页租房信息 1.实现每个租房详情页信息爬取 2.编写函数实现租房列表页网址获取 3.实现300个详情页租房信息from bs4 import BeautifulSoup import requestsurl='http://sh.xiaozhu.com/fangzi/4187532729.html' def get_info(url): web_data
爬虫练习-爬取小猪短租网北京地区短租房信息
莫莫先生的博客
12-07 2490
爬取小猪短租网背景地区短租房信息，网页无反爬手段，代码简单易懂，文档详实，注释清晰，适合刚入门爬虫或想学习爬虫的朋友
mex -L'D:\Matlab 2018a\toolbox\libsvm-3.32\matlab' -I'D:\Matlab 2018a\toolbox\libsvm-3.32\matlab'svmtrain.c 错误使用 mex 输入参数的数目不足。
08-29
引用:这个错误是因为在运行mex命令时没有提供足够的输入参数。引用中提到了将libsvm路径导入到matlab里的方法，这可能是解决该错误的步骤之一。另外，根据引用[2]，可以尝试使用libsvmread函数来读取数据。这个函数可以直接在matlab中使用，例如libsvmread(heart_scale)。请确保在运行mex命令之前，已经成功导入了libsvm库并正确配置了相关路径。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [libsvm在matlab中遇到的问题总结](https://blog.csdn.net/weixin_38300566/article/details/80375703)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值