Python爬虫实战之爬取链家广州房价_04链家的模拟登录(记录)

最新推荐文章于 2021-06-29 15:58:30 发布
最新推荐文章于 2021-06-29 15:58:30 发布
阅读量341 收藏
点赞数
文章标签： python
原文链接：https://juejin.im/post/5a640ce9f265da3e47447cbe
版权

问题引入

开始链家爬虫的时候，了解到需要实现模拟登录，不登录不能爬取三个月之内的数据，目前暂未验证这个说法是否正确，这一小节记录一下利用浏览器(IE11)的开发者工具去分析模拟登录网站(链家)的内部逻辑过程，花了一个周末的时间，部分问题暂未解决。

思路介绍

利用浏览器(IE11)的开发者工具，启用网络流量捕获，在调试之前，先做一些配置上的准备工作：清除旧的cookie和缓存，禁用跳转后清除日志(Firefox在开发工具的Settings设置中勾上启用持续日志)。

首先简要介绍一下模拟登录网站的基本逻辑，模拟网站登录需要知道，要向什么url地址，发送什么样的数据，GET请求还是POST请求。GET请求从服务器请求数据，不需要post data，但是经常需要在url后面加上对应的query parameter，类似?para1=value1&para2=value2之类的形式，本质上有点类似于post data。POST请求需要提供对应的post data，对应工具中的Request Body。而剩下的，是设置发送请求时的相关参数，包括user-agent等，对应工具中的Request Headers。提交请求后，网站服务器返回Response Headers和Response Body。其中，还经常涉及到cookie信息，在发送前，准备好，发送给服务器，服务器返回的信息中，往往也包含更新后的cookie值。

总结一下，主要关注点：Request Headers、Request Body、Response Headers、Response Body、Cookie。

打开IE11后，调出工具，切换到网络界面，打开链家，过滤HTML请求，可以看到，页面跳转到http://gz.lianjia.com/，服务器返回的Response Headers里面设置了一些cookie，如lianjia_ssid和lianjia_uuid。

点击登录，然后输入用户名和密码，正常登录。

找到登录网站所涉及的最核心的地址，对于此，我们可以通过搜索在哪里发送了我们的密码。可以看到，和我们密码相关的url地址为https://passport.lianjia.com/cas/login。即以后如果写代码，所要访问的url地址，就是这个地址了。

分析所提交的数据(post data)中的参数和值，这就是模拟网站登录的核心数据了，是在写代码时，对于url=https://passport.lianjia.com/cas/login提交POST请求时，要发送的一些参数和值。

username=XXXXXXXXXXX
password=XXXXXXXXXX
verifycode=
service=http%3A%2F%2Fgz.lianjia.com%2F
isajax=true
code=
lt=LT-99999-9HQFRxGdmePMdsCSnTeH9h2ne26uQbnWqN2

复制代码

接下来，分析这些值是如何来的。例如lt值，搜索LT-99999，发现来自https://passport.lianjia.com/cas/prelogin/loginTicket?

分析Cookie，在最核心的地址https://passport.lianjia.com/cas/login的Request Headers中，lianjia_ssid、lianjia_uuid和JSESSIONID，其中lianjia_ssid、lianjia_uuid通过先访问其他页面获取，现在接着去找名为JSESSIONID的Cookie，是从哪里来的，所以，能想到的，就是先去搜索JSESSIONID，搜索出来的第一个url地址是https://passport.lianjia.com/cas/prelogin/loginTicket?。很明显，其就是我们所期望的，因为其中的JSESSIONID是通过Set-Cookie所获得的，是访问服务器的某个地址https://passport.lianjia.com/cas/prelogin/loginTicket?，然后服务器所返回的Cookie值。

而对于模拟登录网站中，所涉及的其他Cookie、其他参数的值，可参考上述的逻辑，去一点点分析，找到最终的某个值的来源，然后才能用程序模拟。

总结模拟登录链家的基本流程

至此，对于想要模拟登录链家的内部逻辑过程，基本上清楚了。

顺序访问地址访问类型发送的数据需要获得/提取的返回的值
1http://gz.lianjia.com/GET无lianjia_ssid, lianjia_uuid
2https://passport.lianjia.com/cas/prelogin/loginTicket?GET无从返回的html中提取lt值，需要验证返回的Cookie中，是否包含JSESSIONID
3https://passport.lianjia.com/cas/loginPOSTpost data，其中lt值是之前提取出来的验证返回的html和Cookie

待解决问题

在通过Python实现的时候，利用如上的流程，发现实际上行不通，登录失败。这里提出几个未解决的问题。

如何验证模拟登录网站已成功了呢？

按理，在通过最后一步访问地址为https://passport.lianjia.com/cas/login时，带上账号、密码、提取的lt值，已获取JSESSIONID值的情况下，通过返回的html代码或cookie值，是可以判断模拟登录网站已成功的，然而在进一步分析数据来源的时候，发现有一个lianjia_token在登录后的页面经常出现，不知在模拟登录过程中是否需要用到？是否需要获取到lianjia_token才算成功？也不知是如何得到的？和JS脚本是否有关系？

您可能还想看

Hadoop/CDH

Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境

Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式

Hadoop实战（3）_虚拟机搭建CDH的全分布模式

Hadoop实战（4）_Hadoop的集群管理和资源分配

Hadoop实战（5）_Hadoop的运维经验

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

Hadoop实战（7）_Apache Hadoop安装和配置Hue

Hadoop实战（8）_CDH添加Hive服务及Hive基础

Hadoop实战（9）_Hive进阶及UDF开发

Hadoop实战（10）_Sqoop import与抽取框架封装

微信公众号「数据分析」，分享数据科学家的自我修养，既然遇见，不如一起成长。

转载请注明：转载自微信公众号「数据分析」

读者交流电报群:

https://t.me/sspadluo

转载于:https://juejin.im/post/5a640ce9f265da3e47447cbe

weixin_34402408
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用selenium模拟自动登录链家、贝壳、安居客等网站（超级实用，推荐收藏！）
RockyLiu1992的博客
03-10 1507
大家好， 今天跟大家分享一个利用selenium模拟自动登录王连某家、an聚客等网站。 文章内容超级实用，尽快在小本本上记录下来哟。 特别说明，以下代码仅用于交流学习，不做其他商业用途，切记切记！ 上代码啦 #导出selenium的webdriver模块 from selenium import webdriver #导出selenium的webdriver模块 import ...
爬虫实例：链家网房源数据爬取
shelleyhere的博客
06-18 9559
库和方法介绍： （1）requests requests是python的工具包，用于发出请求，，是用来获取网站数据。Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。本次爬取代码使用的其中的get方法，最通常的方法是通过r=request.get（url）构造一个向服务器请求资源的url对象。这个对象是Request库内部生成的。这时候返回的
使用python抓取并分析数据-链家网（下）
csdn问鼎
12-24 2487
这篇文章主要总结我遇到的一些问题 使用python可能会遇到没有各种第三方包的问题，本人环境是python2.7解决办法是cmd命令到Scripts，然后pip install xxx名 由于读者看这篇文章和我写这篇文章时间上差距，网站内容可能有变化。我们首先注释掉代码1中，户型分布图后面的代码，得出具体的户型个数和分类名称，动态的修改后面的代码，如有二十种户型，则后面的数字为1到20，户型名称根据
python 爬取链家网信息
12-10
python3爬取链家网新房信息，然后解析入库，该资源仅用于学习研究所用，代码比较简单，还望轻喷，想免费分析，无奈CSDN强制要求资源分。所以大家不要怪我啊！
python爬取链家_适合初学者的Python爬取链家网教程
weixin_39649490的博客
12-08 214
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.57 Safari/537.36'}driver1 = webdriver.Chrome()pageid = 1while(pageid <='页码数'):...
python爬取poi城市版_python爬虫_poi爬取软件_POI_地图爬虫_python
09-11
4. **模拟登录与反爬虫**：如果目标网站有登录验证或频繁访问会触发反爬机制，我们需要使用`requests.Session`管理会话，或者利用`cookies`、`headers`来模拟浏览器行为。有时还需要使用`time.sleep()`设置延迟，...
Python爬虫项目之爬取一线城市链家租房房源信息.zip
最新发布
05-30
在本项目中，我们将深入探讨如何使用Python进行网络爬虫，特别关注于抓取一线城市如北京、上海、广州和深圳的链家租房房源信息。这个项目涵盖了Python爬虫的基础知识和实战技巧，对于想要了解网络数据采集的初学者...
python网络爬虫代码-爬取链家网的广州花都区的房价数据
04-13
python网络爬虫代码-爬取链家网的广州花都区的房价数据
链家爬虫获取链家网页数据-附带源码
地中海的博客
04-07 720
链家爬虫 没啥教程就是简单的爬虫 加个正则 有疑问公众号后台留言给你处理。 公众号–>python网络小蜘蛛 # -*- endoding: utf-8 -*- # @ModuleName:链家 # @Function(功能): # @Author : 苏穆冰白月晨 # @Time : 2021/4/7 10:19 import requests, re from fake_useragent import UserAgent import time import csv headers =
链家二手房爬虫
河南骏的博客
04-18 1192
最近在看模拟登陆，找链家二手房爬取来练手，因为技术有限，有些并行化，复杂度，性能方面等不能兼顾， 学习学习学习。下面贴出源码，有志同道合的高手可以帮忙改进或者提些意见。#--*-- coding:utf-8 --*-- import pandas import requests import re from bs4 import BeautifulSoup from fake_useragent...
Python 爬虫对链家网广州二手房源信息的处理与可视化分析
Lee0917的博客
06-29 9662
使用Jupyter对链家网广州二手房源信息数据处理简介一、数据文件二、数据处理三、数据可视化分析四、聚类算法 简介 通过上一篇文章的爬取介绍，这篇文章写一下关于数据处理的操作方法，对于数据处理的问题总结。 一、数据文件 将我之前爬取的数据文件放在这个链接中，毕竟爬取时间太长，有需要的小伙伴自取，并进行处理操作尝试。 链接：https://pan.baidu.com/s/1-ds7T5GNiamxawbx2tmUkw 提取码：78zf 二、数据处理 通过导入的数据对房源信息进行数据处理，对houseIn
RSelenium包抓取链家网（上：模拟点击与页面抓取）
Joyliness
12-14 4203
安装RSelenium包install.packages("RSelenium") # 直接从CRAN下载RSelenium包启动Selenium服务器 在控制台输入java -jar D:\R\library\Rwebdriver\selenium-server-standalone-3.7.1.jar以启动Selenium服务器。保持打开状态，可配合plantomjs、Chrome或Firefo
手把手教你如何利用工具(IE9的F12)去分析模拟登陆网站(百度首页)的内部逻辑过程
Jimcn2009的专栏
06-28 2695
出处:http://www.crifan.com/use_ie9_f12_to_analysis_the_internal_logical_process_of_login_baidu_main_page_website/ 【前提】 想要实现使用某种语言，比如Python，C#等，去实现模拟登陆网站的话，首先要做的事情就是使用某种工具，去分析本身使用浏览器去登陆网页的时候，其内部的
python爬虫之模拟登录
chenti8834的博客
01-23 1060
最近应朋友要求，帮忙爬取了小红书创作平台的数据，感觉整个过程很有意思，因此记录一下。在这之前自己没怎么爬过需要账户登录的网站数据，所以刚开始去看小红书的登录认证时一头雾水，等到一步步走下来，最终成功，思路通了感觉其实还是很简单。 解决思路 一开始我就只有这...
链家网爬虫
castingA3T的博客
12-13 1250
import requests from bs4 import BeautifulSoup headers={ 'UserAgent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36' }def get_detai
python+scrapy 爬取成都链家二手房和成交信息
wantbar的博客
01-01 3447
爬虫设计方案爬取目标 成都链家的二手房和成交数据。 由于web版看不到最新的成交金额数据，因此需要用手机版的数据。 成交数据应该去重，可以做成每天增量爬取。 需要做成每天爬取一次，定时执行 参考文章技术方案 使用Scrapy框架，实现spider部分和pipeline部分。 拦截手机版网络请求，获取Cookie信息，模拟手机请求拿到未隐藏的成交数据。 GET /cd/chengjiao/ HTTP/
python爬取链家网_python - 爬虫入门练习 爬取链家网二手房信息
06-06
好的，这是一个非常典型的爬虫练习。首先，我们需要通过网络请求获取到链家网的二手房信息页面，并且解析页面中的数据。 以下是一个简单的 Python 爬虫代码示例，可以实现爬取链家网二手房信息的功能，你可以参考： ```python import requests from bs4 import BeautifulSoup # 构造请求头部，模拟浏览器发送请求 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299' } # 构造请求参数 url = 'https://bj.lianjia.com/ershoufang/' params = { 'page': 1 # 爬取的页码数 } # 发送网络请求 response = requests.get(url, headers=headers, params=params) # 解析页面数据 soup = BeautifulSoup(response.text, 'html.parser') house_list = soup.find_all('li', {'class': 'clear'}) # 输出解析结果 for house in house_list: print(house.find('a')['href'], house.find('div', {'class': 'title'}).text) ``` 这段代码会爬取北京链家网二手房信息的第一页，并输出每套房子对应的链接和标题。你可以根据自己的需求进行修改。注意，爬虫要遵守法律法规，不要过度使用，以免造成不必要的麻烦。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值