Python：利用高德地图API实现找房

最新推荐文章于 2024-05-16 08:30:00 发布

.无名之辈

最新推荐文章于 2024-05-16 08:30:00 发布

阅读量4.1k

点赞数 2

分类专栏： python 文章标签：爬虫爬取58同城房源信息高德地图API

本文链接：https://blog.csdn.net/qq_38938670/article/details/106720845

版权

python 专栏收录该内容

2 篇文章 2 订阅

订阅专栏

记：本项目是在实验楼上看到的，但是上面的代码由于没有及时维护，爬虫文件的代码不再能完整的把所有房源信息爬取下来，我根据最新的58同城官网进行了研究，现在的官网的房源信息已经不是分页的了，而是拉到最后自动进行加载，所以一些地方的代码也需要做一些修改。其次是爬取出来的文件在偶数行是空行的问题也得到了解决，在打开文件的时候添加一个参数即可。目前未解决的问题时字体加密问题，于是我删掉了money参数，仅供参考，后期有时间再研究字体加密怎么解决。希望得到大佬的在线指教。。。

1、摘要：

利用一些开放平台的API可以很方便的进行编程，早在考研时期就面临找房困难、房源信息混乱以及不清楚房源周边的交通情况。近期在跟廖雪峰老师学习python的过程中看到有类似的项目，在学习了该项目之后，也想把郑州的房源根据价格区间爬取出房源信息存储到csv文件中，然后利用高德地图的API接口进行位置上的标识和交通路线的规划。

2、最终的结果图：

3、实现流程图：

本项目主要有三个文件，分别是：crawl.py、rent2.csv、index.html。其中用到的几个API文档为：高德地图JavaScript API帮助文档和示例中心、Requests:Http for Humans、Beautiful Soup 4.2.0文档。

crawl.py：爬虫脚本，用来爬取房源信息

Rent2.csv：由crawl.py生成的房源信息文件

Index.html：地图显示房源和路径规划文件

要爬取的房源网站：https://zz.58.com/pinpaigongyu

4、爬取房源实现

（1）分析要爬取的页面发现网站路径规律应该为：/pinpaigongyu/?minprice={min_price}_{max_price}，因为现在的58网站没有分页设置，直接是拉到最后自动进行加载，所以去掉了分页参数。

（2）找到房源信息列表，以list元素为标记，循环访问list元素里每一个li元素中的房源信息，提取出有效的房源信息。

（3）编写爬虫脚本文件：由于运行脚本文件后，爬取的时间间隔较小，原房源网站会弹出确认窗口，此时按规定进行确认，之后再重新进行爬取。

from bs4 import BeautifulSoup
import requests
import csv
import time
import lxml

url = "https://zz.58.com/pinpaigongyu/?minprice=1000_2000"

csv_file = open("rent2.csv","w",newline="",encoding='utf-8') 
csv_writer = csv.writer(csv_file, delimiter=',')

while True:
    print("fetch: ", url)
    time.sleep(2)
    response = requests.get(url)
    html = BeautifulSoup(response.text,features="lxml")
    house_list = html.select(".list > li")

    # 循环在读不到新的房源时结束
    if not house_list:
        break

    for house in house_list:
        house_title = house.select("h2")[0].string.strip()
        house_url = house.select("a")[0]["href"]
        house_info_list = house_title.split()

        # 如果第二列是公寓名则取第一列作为地址
        if "公寓" in house_info_list[1] or "青年社区" in house_info_list[1]:
            house_location = house_info_list[0]
        else:
            house_location = house_info_list[1]

        csv_writer.writerow([house_title, house_location, house_url])
csv_file.close()

5、调用高德地图API：

直接在高德地图API示例中心把要用的地图的前端框架复制下来，在根据示例和手册对API中的方法进行调用，在这里主要是阅读高德地图的示例和参考手册。在使用高德地图的API之前需要先拥有一个key，在加载地图的时候使用。

完整代码：

<html>

<head>
    <meta charset="utf-8">
    <meta http-equiv="X-UA-Compatible" content="IE=edge">
    <meta name="viewport" content="initial-scale=1.0, user-scalable=no, width=device-width">
    <title>毕业生租房</title>
    <link rel="stylesheet" href="http://cache.amap.com/lbs/static/main1119.css" />
    <link rel="stylesheet" href="http://cache.amap.com/lbs/static/jquery.range.css" />
    <script src="http://cache.amap.com/lbs/static/jquery-1.9.1.js"></script>
    <script src="http://cache.amap.com/lbs/static/es5.min.js"></script>
    <script src="http://webapi.amap.com/maps?v=1.3&key=651b94b986317c1e68d082ec56773eb5&plugin=AMap.ArrivalRange,AMap.Scale,AMap.Geocoder,AMap.Transfer,AMap.Autocomplete"></script>
    <script src="http://cache.amap.com/lbs/static/jquery.range.js"></script>
    <style>
        .control-panel {
            position: absolute;
            top: 30px;
            right: 20px;
        }
        
        .control-entry {
            width: 280px;
            background-color: rgba(119, 136, 153, 0.8);
            font-family: fantasy, sans-serif;
            text-align: left;
            color: white;
            overflow: auto;
            padding: 10px;
            margin-bottom: 10px;
        }
        
        .control-input {
            margin-left: 120px;
        }
        
        .control-input input[type="text"] {
            width: 160px;
        }
        
        .control-panel label {
            float: left;
            width: 120px;
        }
        /* 路径规划面板 */
        
        #transfer-panel {
            position: absolute;
            background-color: white;
            max-height: 80%;
            overflow-y: auto;
            top: 30px;
            left: 20px;
            width: 250px;
        }
    </style>
</head>

<body>
    <div id="container"></div>
    <div class="control-panel">
        <div class="control-entry">
            <label>选择工作地点：</label>
            <div class="control-input">
                <input id="work-location" type="text">
            </div>
        </div>
        <div class="control-entry">
            <label>选择通勤方式：</label>
            <div class="control-input">
                <input type="radio" name="vehicle" value="SUBWAY,BUS" onClick="takeBus(this)" checked/> 公交+地铁
                <input type="radio" name="vehicle" value="SUBWAY" onClick="takeSubway(this)" /> 地铁
            </div>
        </div>
        <div class="control-entry">
            <label>导入房源文件：</label>
            <div class="control-input">
                <input type="file" name="file" onChange="importRentInfo(this)" />
            </div>
        </div>
    </div>
    <div id="transfer-panel"></div>
    <script>
        // 地图初始化城市和地图的一些属性
        var map = new AMap.Map("container", {
            resizeEnable: true,
            zoomEnable: true,
            center: [113.65, 34.7],
            zoom: 11
        });

        // 添加标尺 
        var scale = new AMap.Scale();
        map.addControl(scale);

        var arrivalRange = new AMap.ArrivalRange(); //公交到达圈
        var x, y, t, vehicle = "SUBWAY,BUS"; //经纬度和交通方式
        var workAddress, workMarker; //工作地点和工作标记
        var rentMarkerArray = []; //房源标记队列
        var polygonArray = []; //多边形队列，存储公交到达的计算结果
        var amapTransfer; //路径规划

        // 信息窗体对象
        var infoWindow = new AMap.InfoWindow({
            offset: new AMap.Pixel(0, -30)
        });

        // 地址自动补全对象
        var auto = new AMap.Autocomplete({
            input: "work-location"
        });

        // 在选择完地址后自动调用worklocationselected方法
        AMap.event.addListener(auto, "select", workLocationSelected);


        function takeBus(radio) {
            vehicle = radio.value;
            loadWorkLocation()
        }

        function takeSubway(radio) {
            vehicle = radio.value;
            loadWorkLocation()
        }

        // 触发房源信息
        function importRentInfo(fileInfo) {
            var file = fileInfo.files[0].name;
            loadRentLocationByFile(file);
        }

        function workLocationSelected(e) {
            workAddress = e.poi.name;
            loadWorkLocation(); //调用加载1小时内到达的区域方法
        }

        // 工作地点标记（标记为红色）
        function loadWorkMarker(x, y, locationName) {
            workMarker = new AMap.Marker({
                map: map,
                title: locationName,
                icon: 'http://webapi.amap.com/theme/v1.3/markers/n/mark_r.png',
                position: [x, y]

            });
        }


        // 加载范围域
        function loadWorkRange(x, y, t, color, v) {
            arrivalRange.search([x, y], t, function(status, result) {
                if (result.bounds) {
                    for (var i = 0; i < result.bounds.length; i++) {
                        var polygon = new AMap.Polygon({
                            map: map,
                            fillColor: color,
                            fillOpacity: "0.4",
                            strokeColor: color,
                            strokeOpacity: "0.8",
                            strokeWeight: 1
                        });
                        polygon.setPath(result.bounds[i]);
                        polygonArray.push(polygon);
                    }
                }
            }, {
                policy: v
            });
        }

        function addMarkerByAddress(address) {
            var geocoder = new AMap.Geocoder({
                city: "郑州",
                radius: 1000
            });
            geocoder.getLocation(address, function(status, result) {
                if (status === "complete" && result.info === 'OK') {
                    var geocode = result.geocodes[0];
                    rentMarker = new AMap.Marker({
                        map: map,
                        title: address,
                        icon: 'http://webapi.amap.com/theme/v1.3/markers/n/mark_b.png',
                        position: [geocode.location.getLng(), geocode.location.getLat()]
                    });
                    rentMarkerArray.push(rentMarker);

                    rentMarker.content = "<div>房源：<a target = '_blank' href='https://zz.58.com/pinpaigongyu/?key=" + address + "'>" + address + "</a><div>"
                    rentMarker.on('click', function(e) {
                        infoWindow.setContent(e.target.content);
                        infoWindow.open(map, e.target.getPosition());
                        if (amapTransfer) amapTransfer.clear();
                        amapTransfer = new AMap.Transfer({
                            map: map,
                            policy: AMap.TransferPolicy.LEAST_TIME,
                            city: "郑州市",
                            panel: 'transfer-panel'
                        });
                        amapTransfer.search([{
                            keyword: workAddress
                        }, {
                            keyword: address
                        }], function(status, result) {})
                    });
                }
            })
        }

        function delWorkLocation() {
            if (polygonArray) map.remove(polygonArray);
            if (workMarker) map.remove(workMarker);
            polygonArray = [];
        }

        function delRentLocation() {
            if (rentMarkerArray) map.remove(rentMarkerArray);
            rentMarkerArray = [];
        }

        function loadWorkLocation() {
            delWorkLocation();
            var geocoder = new AMap.Geocoder({
                city: "郑州",
                radius: 1000
            });

            geocoder.getLocation(workAddress, function(status, result) {
                if (status === "complete" && result.info === 'OK') {
                    var geocode = result.geocodes[0];
                    x = geocode.location.getLng();
                    y = geocode.location.getLat();
                    loadWorkMarker(x, y);
                    loadWorkRange(x, y, 60, "#3f67a5", vehicle);
                    map.setZoomAndCenter(12, [x, y]);
                }
            })
        }

        // 加载房源位置
        function loadRentLocationByFile(fileName) {
            delRentLocation();
            var rent_locations = new Set();
            $.get(fileName, function(data) {
                data = data.split("\n");
                data.forEach(function(item, index) {
                    rent_locations.add(item.split(",")[1]);
                });
                rent_locations.forEach(function(element, index) {
                    addMarkerByAddress(element); //为房源添加标记
                });
            });
        }
    </script>
</body>

</html>

6、项目演示步骤和效果：

在终端输入python -m http.server 3000启动服务器，然后在浏览器输入http://localhost:3000查看效果，在右上角的panel中输入工作地点，交通方式，房源信息文件查看效果。

.无名之辈

关注

2
点赞
踩
37

收藏

觉得还不错? 一键收藏
打赏
3
评论
Python：利用高德地图API实现找房

记：本项目是在实验楼上看到的，但是上面的代码由于没有及时维护，爬虫文件的代码不再能完整的把所有房源信息爬取下来，我根据最新的58同城官网进行了研究，现在的官网的房源信息已经不是分页的了，而是拉到最后自动进行加载，所以一些地方的代码也需要做一些修改。其次是爬取出来的文件在偶数行是空行的问题也得到了解决，在打开文件的时候添加一个参数即可。目前未解决的问题时字体加密问题，于是我删掉了money参数，仅供参考，后期有时间再研究字体加密怎么解决。希望得到大佬的在线指教。。。1、摘要：利用一些开放...
复制链接

扫一扫