如何在polar上爬取睡眠数据和运动数据

最新推荐文章于 2024-09-04 05:43:10 发布
最新推荐文章于 2024-09-04 05:43:10 发布
阅读量1.4k 收藏 4
点赞数
分类专栏： 量化自我---如何获取polar的运动数据并进行分析 文章标签： python polar 爬虫 requests 运动信息
本文为博主原创文章，转载请注明来源
本文链接：https://blog.csdn.net/qq_26948675/article/details/113095476
版权
polar使用的一些小经验
  1. polar买回来之后，最好在电脑上下载一下官方的软件，同步一下设置，这个时候polar的语言和时区一般会变成本地的，而且可以避免一直是运动模式，耗电量太高，导致需要经常充电。
  2. polar需要定期同步数据到官网上，可以使用APP或者连接到电脑的同步软件上，建议使用电脑同步，手机APP同步很容易断，需要尝试很多次。只有进行过数据同步之后，新的运动数据才能够在官网上看到。
  3. 平时就长时间佩戴就好，运动的时候设置相应的运动模式。

这是我个人的一些小经验，仅供参考。

下载安装python和chrome

由于爬虫和数据展示需要使用到python，所以，需要下载python并安装相应的模块。需要使用chrome浏览器对polar官网的网页进行分析，辅助实现爬取数据。

  1. python

    需要python就使用anaconda好了，集成环境，配置简单。具体安装的步骤，可以参考我以前的一篇文章：https://zhuanlan.zhihu.com/p/186223176

  2. plotly

    在原先的文章中，第二部分装了一个backtrader,这次我们使用pip install plotly 这个命令，安装一下plotly模块

  3. chrome浏览器

    去百度一下，下载chrome浏览器，最新的几个版本都行，没特别要求。

使用chrome登录polar网站

在chrome浏览器中打开网站https://flow.polar.com/，并输入账号和密码，登录，之后会出现如下的界面。

在这里插入图片描述

获取睡眠信息

  1. 首先，在登录过polar的页面，点击鼠标右键，点击检查，在左上角，找到network，点击；然后点击睡眠，可以得到很多的网络信息，需要我们从中找到究竟是哪一个网址提供相应的信息。想要直到是哪一个网址返回得到信息，需要一个个点开这个网址，并且点击response，查看是否有我们想要的信息。这一步不需要我们自己去抓包，我已经找到相应的网址了：https://sleep.flow-prd.api.polar.com/api/sleep/nights/nearby?date=2021-01-24

在这里插入图片描述

  1. 需要根据自己浏览器上面的信息，配置headers和data

    headers = {
    "authority": "sleep.flow-prd.api.polar.com",
    "accept": "application/json, text/javascript, */*; q=0.01",
    "accept-encoding": "gzip, deflate, br",
    "accept-language": "zh-CN,zh;q=0.9",
    "content-type": "application/json",
    "cookie": "POLAR_SSO=1; POLAR_SESSION=eyJhbGciOiJSUzI1NiJ9.eyJzY29wZXMiOlsiUE9MQVJfU1NPIl0sImV4cCI6MTY0Mjg1Njc2NywiaWF0IjoxNjExMzIwNzY3LCJ1c2VySWQiOjQzMzg3MTk0LCJ1dWlkIjoiYWQ2MGRhZDEtN2VlYi00YWNiLWI2ZmEtMjE4ZTE5MTFlNTM1In0.xwtiI0Irb-1JdPNSKdbbutzNsVCqlLGkPBfT-FQ5RrHWiTmJLmtkKEAbi5cGj5NDG8l1W45hh6meAv4HOkbTopqJm6SJYzWazv0i0kN5vfsKkYWoHHg8jFDyAOR_QkUra5SFEPKvA3i-N9tFxP_z3HWDQX4Lvw78eLxpkRaJmhg9V7PcgxAPK5DNfDMi6TIEdIGA9zyYpVznJw6mW370tOSUVtc10SY2Ynfk-DUBcDalw2ewnMQ3DAI-U7HrZ7G_frBJxxL0QTnzlJ0vwCChR4Krl9ikk0zb8v8hlCZFjEtAW858oli_2Sxo0X_E3BN6zVvrnr1cH_iqjh0wBcEt7g; JSESSIONID=09C074C68BA81D445CC6592BCB47A8B6; OptanonAlertBoxClosed=2021-01-22T13:08:07.595Z; OptanonConsent=isIABGlobal=false&datestamp=Fri+Jan+22+2021+21%3A08%3A07+GMT%2B0800+(%E4%B8%AD%E5%9B%BD%E6%A0%87%E5%87%86%E6%97%B6%E9%97%B4)&version=6.6.0&hosts=&landingPath=NotLandingPage&groups=C0004%3A1%2CC0001%3A1%2CC0002%3A1%2CC0003%3A1&AwaitingReconsent=false; _ga=GA1.2.557689735.1611320888; _gid=GA1.2.1639346864.1611320888; _gat=1; _dc_gtm_UA-66185860-2=1",
    "origin": "https://flow.polar.com",
    "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
    "x-requested-with": "XMLHttpRequest"
}

    这个headers的信息，需要从自己浏览器中的Request headers 里面去复制，然后替换成自己的内容，基本上是需要修改cookie,其他如果不一样，也建议修改一下。使用下面的代码就可以获取从2020年1月1日到2020年12月31日的睡眠数据了，想要获取更多的睡眠数据，可以修改这两个日期。

    import requests
import pandas as pd
import numpy as np
import re
# 获取睡眠数据
result = []
url = "https://sleep.flow-prd.api.polar.com/api/sleep/nights/nearby"
headers = {
    "authority": "sleep.flow-prd.api.polar.com",
    "accept": "application/json, text/javascript, */*; q=0.01",
    "accept-encoding": "gzip, deflate, br",
    "accept-language": "zh-CN,zh;q=0.9",
    "content-type": "application/json",
    "cookie": "POLAR_SSO=1; POLAR_SESSION=eyJhbGciOiJSUzI1NiJ9.eyJzY29wZXMiOlsiUE9MQVJfU1NPIl0sImV4cCI6MTY0Mjg1Njc2NywiaWF0IjoxNjExMzIwNzY3LCJ1c2VySWQiOjQzMzg3MTk0LCJ1dWlkIjoiYWQ2MGRhZDEtN2VlYi00YWNiLWI2ZmEtMjE4ZTE5MTFlNTM1In0.xwtiI0Irb-1JdPNSKdbbutzNsVCqlLGkPBfT-FQ5RrHWiTmJLmtkKEAbi5cGj5NDG8l1W45hh6meAv4HOkbTopqJm6SJYzWazv0i0kN5vfsKkYWoHHg8jFDyAOR_QkUra5SFEPKvA3i-N9tFxP_z3HWDQX4Lvw78eLxpkRaJmhg9V7PcgxAPK5DNfDMi6TIEdIGA9zyYpVznJw6mW370tOSUVtc10SY2Ynfk-DUBcDalw2ewnMQ3DAI-U7HrZ7G_frBJxxL0QTnzlJ0vwCChR4Krl9ikk0zb8v8hlCZFjEtAW858oli_2Sxo0X_E3BN6zVvrnr1cH_iqjh0wBcEt7g; JSESSIONID=09C074C68BA81D445CC6592BCB47A8B6; OptanonAlertBoxClosed=2021-01-22T13:08:07.595Z; OptanonConsent=isIABGlobal=false&datestamp=Fri+Jan+22+2021+21%3A08%3A07+GMT%2B0800+(%E4%B8%AD%E5%9B%BD%E6%A0%87%E5%87%86%E6%97%B6%E9%97%B4)&version=6.6.0&hosts=&landingPath=NotLandingPage&groups=C0004%3A1%2CC0001%3A1%2CC0002%3A1%2CC0003%3A1&AwaitingReconsent=false; _ga=GA1.2.557689735.1611320888; _gid=GA1.2.1639346864.1611320888; _gat=1; _dc_gtm_UA-66185860-2=1",
    "origin": "https://flow.polar.com",
    "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
    "x-requested-with": "XMLHttpRequest"
}
datetime_list = list(pd.date_range(start='2020-01-01',end='2020-12-31'))
datetime_list =[i.strftime("%Y-%m-%d") for i in datetime_list]
for datetime_ in datetime_list:
    data = {"date":datetime_}
    r = requests.get(url,headers = headers,params=data)
    content = r.json()
    date = content['previousNights'][0]['nightSleep']['night']
    sleep_start_time = content['previousNights'][0]['nightSleep']['sleepStartTime']
    sleep_end_time = content['previousNights'][0]['nightSleep']['sleepEndTime']
    sleep_time = content['previousNights'][0]['sleepEvaluationData']['asleep']
    efficiencyPercent = content['previousNights'][0]['sleepEvaluationData']['efficiencyPercent']
    continuityIndex = content['previousNights'][0]['sleepEvaluationData']['continuityIndex']
    result.append([date,sleep_start_time,sleep_end_time,sleep_time,efficiencyPercent,continuityIndex])
    print(date,sleep_start_time,sleep_end_time,sleep_time,efficiencyPercent,continuityIndex)
sleep_df = pd.DataFrame(result)
sleep_df.columns = ['date','sleep_start_time','sleep_end_time','sleep_time','efficiencyPercent','continuityIndex']
sleep_df.to_csv("2020年睡眠数据.csv")
    获取运动数据
    1. 获取运动数据的方法和获取睡眠数据的方法类似，也是要知道是哪一个url返回的信息，运动信息返回的网址是"https://flow.polar.com/activity/data/1.1.2020/31.12.2020?_=1611325770705"，大家可以根据需要，修改两个日期，以获取他们之间得到数据，比如，这个url的开始日期是1.1.2020,结束日期是31.12.2020,大家可以根据自己的需要进行修改。
    2. headers的信息，大家要根据自己浏览器中的进行修改。
# 爬去2020年的运动数据
import requests
import pandas as pd
import numpy as np
import re
result = []
url = "https://flow.polar.com/activity/data/1.1.2020/31.12.2020?_=1611325770705"
headers = {
    "authority": "sleep.flow-prd.api.polar.com",
    "accept": "application/json, text/javascript, */*; q=0.01",
    "accept-encoding": "gzip, deflate, br",
    "accept-language": "zh-CN,zh;q=0.9",
    "content-type": "application/json",
    "cookie": "POLAR_SSO=1; POLAR_SESSION=eyJhbGciOiJSUzI1NiJ9.eyJzY29wZXMiOlsiUE9MQVJfU1NPIl0sImV4cCI6MTY0Mjg1Njc2NywiaWF0IjoxNjExMzIwNzY3LCJ1c2VySWQiOjQzMzg3MTk0LCJ1dWlkIjoiYWQ2MGRhZDEtN2VlYi00YWNiLWI2ZmEtMjE4ZTE5MTFlNTM1In0.xwtiI0Irb-1JdPNSKdbbutzNsVCqlLGkPBfT-FQ5RrHWiTmJLmtkKEAbi5cGj5NDG8l1W45hh6meAv4HOkbTopqJm6SJYzWazv0i0kN5vfsKkYWoHHg8jFDyAOR_QkUra5SFEPKvA3i-N9tFxP_z3HWDQX4Lvw78eLxpkRaJmhg9V7PcgxAPK5DNfDMi6TIEdIGA9zyYpVznJw6mW370tOSUVtc10SY2Ynfk-DUBcDalw2ewnMQ3DAI-U7HrZ7G_frBJxxL0QTnzlJ0vwCChR4Krl9ikk0zb8v8hlCZFjEtAW858oli_2Sxo0X_E3BN6zVvrnr1cH_iqjh0wBcEt7g; JSESSIONID=09C074C68BA81D445CC6592BCB47A8B6; OptanonAlertBoxClosed=2021-01-22T13:08:07.595Z; OptanonConsent=isIABGlobal=false&datestamp=Fri+Jan+22+2021+21%3A08%3A07+GMT%2B0800+(%E4%B8%AD%E5%9B%BD%E6%A0%87%E5%87%86%E6%97%B6%E9%97%B4)&version=6.6.0&hosts=&landingPath=NotLandingPage&groups=C0004%3A1%2CC0001%3A1%2CC0002%3A1%2CC0003%3A1&AwaitingReconsent=false; _ga=GA1.2.557689735.1611320888; _gid=GA1.2.1639346864.1611320888; _gat=1; _dc_gtm_UA-66185860-2=1",
    "origin": "https://flow.polar.com",
    "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
    "x-requested-with": "XMLHttpRequest"
}
# data = {"date":datetime_}
r = requests.get(url,headers = headers)
content = r.json()
# 整理数据
result = []
for i in content['data']:
    datetime = i['summaries'][0]['datetime']
    goalPercent = i['summaries'][0]['goalPercent']
    calories = i['summaries'][0]['calories']
    stepCount = i['summaries'][0]['stepCount']
    distanceFromSteps = i['summaries'][0]['distanceFromSteps']
    activeTime = i['summaries'][0]['activeTime']
    inActiveTime = i['summaries'][0]['inActiveTime']
    sleepTime = i['summaries'][0]['sleepTime']
    sleepQuality = i['summaries'][0]['sleepQuality']
    result.append([datetime,goalPercent,calories,stepCount,distanceFromSteps,activeTime,inActiveTime,sleepTime,sleepQuality])
# 保存数据
run_df = pd.DataFrame(result)
run_df.columns = ['datetime','goalPercent','calories','stepCount','distanceFromSteps','activeTime','inActiveTime','sleepTime','sleepQuality']
run_df.to_csv("2020年运动数据.csv")

如果不出意外的话，睡眠数据和运动数据都会保存到本地工作目录中了。

智慧、心灵、财富，总要有一个在路上，愿我们能在人生的道路上，不断成长、不断成熟～～～

感兴趣可以关注我的专栏：

my_quant_study_note：分享一些关于量化投资、量化交易相关的思考

backtrader量化投资回测与交易：本专栏免费，分享backtrader相关的内容。

量化投资神器-backtrader源码解析-从入门到精通：本专栏目前收费99元，预计更新100篇策略+20篇backtrader讲解+80篇源代码分析。

Python分析睡眠数据
2301_79366435的博客
09-13 434
这是一个简单的示例，展示了如何使用Python来分析睡眠数据。根据具体的数据集和需求，我们可以应用各种技术和方法来获取更深入的洞察。睡眠数据分析是一个广阔而有趣的领域，在理解和改善我们的睡眠健康方面发挥着重要作用。通过使用Python进行分析，我们可以更好地理解自己的睡眠模式，并采取相应的措施来改善睡眠质量。了解自己的睡眠模式和质量可以帮助我们改善睡眠习惯和生活质量。在本文中，我们将使用Python来分析睡眠数据，从而获得有关我们睡眠模式的洞察。我们将介绍如何读取和处理睡眠数据，并展示一些常见的分析技术。
优雅的爬虫，睡眠插件
BigBoy_Coder的博客
07-15 365
原理讲解截图： 代码实现： from urllib import parse from datetime import datetime import time import requests from loguru import logger class DelayWait(object): def __init__(self, delay=3): """ 初始化定义睡眠时间，请求相同一个网站的url，睡眠为3秒 :param delay
如何利用从polar上获得的睡眠和运动信息使用plotly画图展示？
云金杞
01-24 416
如何展示相应的信息 这个涉及到使用plotly进行画图，我们使用简单一些的方法，根据需要增加相应得到副图数目。 画图的要点： 需要画几副图，就修改参数：fig = make_subplots(rows=4, cols=1)，rows =4,cols=1代表有4幅图，每行一个，有4行，x轴是日期，y轴相应的数据，name是名称，row和col是相应到嗯位置，下面的代码，会画出来睡眠图 import plotly.graph_objects as go from plotly.subplots import m
python爬虫sleep_python 爬虫快速实现记录
weixin_39961855的博客
11-30 595
细节稍后补充，先来个提纲什么的TODO： 例子网站前提：略懂 python 和 网站知识目的：达到可以爬一般的甚至复杂的网站策略：尽量用较少的工具，不考虑数据分析和储存============================requests不必折腾，就用这个，包好用，熟悉 get 方法和 headers 参数就行；经常遇到的细节说明：allow_redirects 参数可以设置是否自动处理 302...
如何用python爬取数据,如何使用Python抓取实时流数据？
weixin_28192383的博客
11-23 478
I was trying to scrape the number of flights for this webpage https://www.flightradar24.com/56.16,-49.51The number is highlighted in the picture below:The number is updated every 8 seconds.This is wha...
python睡眠数据分析与可视化
11-27 9237
python睡眠数据分析与可视化
期末考试题库3
m0_74487105的博客
09-20 3231
311.小明在一家IT教育公司做运营工作，经常听到同学聊到MaxCompute核心概念，但又不知其意，下列哪些选项（ ABCDE ）能帮助小明更好的了解MaxCompute。 A:Project（项目）项目是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界 B:Partition（分区）分区Partition是指一张表下，根据分区字段（一个或多个字段的组合）对数据存储进行划分 C:View（视图）视图是在表之上建立的虚拟表，它的
Python实现电子词典
weixin_30586257的博客
08-12 3709
代码一览： dictionary/├── code│ ├── client.py│ ├── func.py│ ├── server.py│ └── settings.py├── data│ ├── data.py│ ├── in.txt│ ├── out.txt│ └── processor.py└── readme.txt 详细代码： ...
Python实现电子词典（图形界面）
weixin_30586257的博客
08-14 6631
Python实现电子词典（图形界面） 终端电子词典：https://www.cnblogs.com/noonjuan/p/11341375.html 文件一览： .├── client.py├── data.py├── dic.csv├── func.py├── pics│ ├── pic_login.jpg│ ├── pic_main.jpg│ └── pic_sig...
Python实现电子词典（web）
weixin_30586257的博客
08-30 4472
思路： 　　准备配置文件setting.py，运行src/data.py，使用MySQL新建数据库并创建table，将字典数据导入到table中。编写server.py文件，建立服务端，循环接收web请求，使用多线程实现并发，解析请求（request），并返回响应（response）。未完善，只实现了基本的客户端发起请求——>服务端解析请求——>数据库信息获取——>服...
手表运动状态识别（静止/走路/跑步）_数据样例
gm_Ergou的博客
07-01 1879
原始数据：包括acc和gyro的三轴数据 样例1：走路数据 {"accX":[458,490,546,560,612,582,489,522,550,524,0,0,0,0,0],"accY":[65044,65077,65091,65099,65121,65140,64951,64894,64897,65005,0,0,0,0,0],"accZ":[4123,4090,4046,4002,3941,4020,4041,3972,3973,4015,0,0,0,0,0],"bleIndex":1,"g
h10:从我的Polar H10传感器获取心率测量的示例代码
03-13
h10:从我的Polar H10传感器获取心率测量的示例代码
开源项目推荐：Bipolar - 简易的Polar训练数据导出工具
gitblog_00097的博客
06-26 385
开源项目推荐：Bipolar - 简易的Polar训练数据导出工具 bipolarFree your data from Polar FlowSync项目地址:https://gitcode.com/gh_mirrors/bi/bipolar Bipolar 是一个轻量级的图形界面应用程序，专为从Polar同步软件（如Polar FlowSync）中导出训练数据而设计。这个开源项目支持包括Po...
【毕业设计】大数据睡眠数据分析与可视化 - python
caxiou的博客
11-14 3559
🔥 Hi，大家好，这里是丹成学长的毕设系列文章！🔥 对毕设有任何疑问都可以问学长哦!这两年开始，各个学校对毕设的要求越来越高，难度也越来越大… 毕业设计耗费时间，耗费精力，甚至有些题目即使是专业的老师或者硕士生也需要很长时间，所以一旦发现问题，一定要提前准备，避免到后面措手不及，草草了事。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的新项目是🚩基于大数据的睡眠分析🥇学长这里给一个题目综合评分(每项满分5分)难度系数：4分工作量：4分创新点：3分🧿。
数据分析报告4：睡眠情况分析
Moniko_yo的博客
04-30 4680
分析睡眠数据，判断是否需要调整
Polars DataFrame 与 LangChain：高效数据处理与文档加载
最新发布
qq_29929123的博客
09-04 874
Polars 是一个用 Rust 编写的快速 DataFrame 库，提供了 Python API。它的设计目标是高性能和内存效率，特别适合处理大型数据集。Polars 和 LangChain 的结合为数据处理和 NLP 任务提供了强大的工具集。Polars 的高性能数据处理能力与 LangChain 的灵活 NLP 框架相结合，为构建高效的 AI 应用打开了新的可能性。Polars 官方文档LangChain 文档OpenAI API 文档。
比起 Pandas, 你更需要 Polars：详细指南
一览无遗
12-28 8972
在数据分析领域，Python 由于其多功能性和广泛的库生态系统而成为一种流行的语言。数据处理和分析在提取见解和做出明智决策方面发挥着至关重要的作用。然而，随着数据集的规模和复杂性不断增长，对高性能解决方案的需求变得至关重要。有效地处理大型数据集需要能够提供快速计算和优化操作的工具。这就是 Polars 出现的原因。Polars 是一个强大的开源库，专为 Python 中的高性能数据操作和分析而设计。
技术总结: 基于http3的动态网页图片爬虫设计
S_Kross的博客
03-21 1526
作为一名算法工程师, 收集处理数据的能力也是比较重要的. 能够充分利用好互联网的数据资源, 加上优秀的算法能力, 就如虎添翼. 这次就以著名的 pixabay.com 为例子, 讲解一下如何写一个简单的爬虫程序.
python采集keep运动数据
Z_suger7的博客
05-12 4747
我国2009年确立“全民健身日”；2012年，“广泛开展全民健身运动”写入十八大报告；到2014年上升为国家战略，全民健身的分量越来越重。推动全民健身和全民健康深度融合，通过全民健身实现全民健康。 全民健身运动在我国越来越普及，每天清晨和傍晚时分，城市的广场上、公园里，到处是运动健身的人们，跑步、打球、跳舞、游泳、打太极拳等运动项目十分丰富，人们在运动中获得越来越多的幸福感。 随之诞生出了很多运动app，例如keep,咪咕，微信等，大家可以通过app随时记录自己的运动数据，特别是对于很多的减肥人群来说，通过
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云金杞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值