“日常研究”之 respage02：采集共享单车数据

初衷

距离 respage01 已经有一个月左右没有做日常研究了，期间也有了些迷茫，迷茫日常研究的价值到底在哪里，以及业余时间的捉襟见肘。但是迷茫归迷茫，或者越是迷茫更是要去设法了解世界。respage02 的目标是为了研究小区域人流状况。 小区域的人流状况是我一直想获取的一个信息，这里的“状况”是我们所能获取的最大信息，由于人们出行方式越来越多样化，除了政府在路口安装监控以外，我觉得已经很难完整表示人流量了。我们可以做的只能是通过某种或某些出行途径来片面地反映这种“状况”。

脑洞

自己关于片面掌握人流状况的脑洞有这么几个：

• 采集共享单车分布数据，反映小区域内的人流转移情况。
• 采集网约车的实时分布数据，反映城市内的人流和交通状况。
• 通过高清摄像头采集某街道特定角度的视频，通过识别运动数据，反映单点人流情况。
• 通过 wifi 嗅探器主动采集移动设备数据。

脑洞的意义就是让大家有时间可以去研究一下，我只是选择了最方便的共享单车数据，原因在于共享单车移动速度慢，在对爬取速度没追求的情况下，也可以有希望获得研究结果。

获取数据的接口

关于获取共享单车（摩拜）数据的文章已经有很多，主要思路还是通过研究单车微信小程序的 api，只要简单抓包就可以找到规律，如下接口就可以获取某一位置周边的单车信息，这个和获取百度地图 POI 数据类似，尽量增加采集点，可以获取尽量完整的数据，因为根据观察，附近单车接口获取到数量是做了限制的：

URL = "https://mwx.mobike.com/nearby/nearbyBikeInfo?biketype=0" + \
      "&latitude=" + lat + \
      "&longitude=" + lng + \
      "&userid=" + userId + \
      "&citycode=0579"
复制代码

采集窗口

还是采用与获取 POI 数据一样的矩形窗口扫描的方式，为了稍微加快些速度，我简单地增加了一个进程来同时采集，为了降低封号风险，我也准备了两个 userid，同时也准备了两个扫描区域。（进阶采集，多进程或者协程+代理的方式来更快更全的采集，但是我目前不需要）

## 江南两个矩形区域
BigRect1 = {
    'left': {
        'x': 119.634998,
        'y': 29.046372
    },
    'right': {
        'x': 119.6727628,
        'y': 29.077628
    }
}

BigRect2 = {
    'left': {
        'x': 119.628268,
        'y': 29.072232
    },
    'right': {
        'x': 119.67208,
        'y': 29.098397
    }
}

复制代码

完成采集代码

完整代码还是见 GitHub - roubo/roubospiker: 一些解决生活问题的小爬虫 实现一个 work 方法，并开启两个采集进程：(注意日志文件要分开创建，以免并发写花)

def worker(bigrect, userId, FileKey):
    today = time.strftime("%Y_%m_%d_%H")
    for count in range(0, 10):
        logfile = open("./log/" + FileKey + "-" + str(count) + '_' + today + ".log", 'a+', encoding='utf-8')
        file = open("./result/" + FileKey + "-" + str(count) + '_' + today + ".txt", 'a+', encoding='utf-8')
        for index in range(int(WindowSize['xNum'] * WindowSize['yNum'])):
            lng, lat = getSmallRect(bigrect, WindowSize, index)
            requestMBikeApi(lat=lat, lng=lng, index=index, file=file, logfile=logfile, userId=userId)
        time.sleep(1200)

def main():
    userIds = tool.getMBikeUserID()
    p1 = multiprocessing.Process(target=worker, name='p1', args=(BigRect1, userIds[0], 'shareBike01'))
    p2 = multiprocessing.Process(target=worker, name='p2', args=(BigRect2, userIds[1], 'shareBike02'))
    p1.start()
    p2.start()
复制代码

先结束了

实现采集 + 存储 + 展示的过程放到下一稿咯。