python采集keep运动数据

我国2009年确立“全民健身日”;2012年,“广泛开展全民健身运动”写入十八大报告;到2014年上升为国家战略,全民健身的分量越来越重。推动全民健身和全民健康深度融合,通过全民健身实现全民健康。
全民健身运动在我国越来越普及,每天清晨和傍晚时分,城市的广场上、公园里,到处是运动健身的人们,跑步、打球、跳舞、游泳、打太极拳等运动项目十分丰富,人们在运动中获得越来越多的幸福感。
随之诞生出了很多运动app,例如keep,咪咕,微信等,大家可以通过app随时记录自己的运动数据,特别是对于很多的减肥人群来说,通过运动数据可以更好的让自己坚持下去。我身边就有很多的朋友使用kee使用keep来记录锻炼信息,想了解都有哪些群体使用keep这款健身软件,今天我们就使用python抓取些关于keep用户的跑步数据。
#! -- encoding:utf-8 --
import requests
import random
import requests.adapters
# 要访问的目标页面
targetUrlList = [
“https://https://www.gotokeep.com”,
“https://https://www.gotokeep.com//headers”,
“https://hhttps://www.gotokeep.com//user-agent”,
]
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = “t.16yun.cn”
proxyPort = “31111”
# 代理验证信息
proxyUser = “username”
proxyPass = “password”
proxyMeta = “http://%(user)s:%(pass)s@%(host)s:%(port)s” % {
“host”: proxyHost,
“port”: proxyPort,
“user”: proxyUser,
“pass”: proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
“http”: proxyMeta,
“https”: proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1, 10000)
headers = {“Proxy-Tunnel”: str(tunnel)}
class HTTPAdapter(requests.adapters.HTTPAdapter):
def proxy_headers(self, proxy):
headers = super(HTTPAdapter, self).proxy_headers(proxy)
if hasattr(self, ‘tunnel’):
headers[‘Proxy-Tunnel’] = self.tunnel
return headers
# 访问三次网站,使用相同的tunnel标志,均能够保持相同的外网IP
for i in range(3):
s = requests.session()
a = HTTPAdapter()
# 设置IP切换头
a.tunnel = tunnel
s.mount(‘https://’, a)
for url in targetUrlList:
r = s.get(url, proxies=proxies)
print r.text
在这里插入图片描述

  • 2
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python采集拼多多数据的教程可以分为以下几个步骤: 1. 网页爬取:使用Python的爬虫库(例如BeautifulSoup、Scrapy等)对拼多多网页进行爬取。可以通过模拟浏览器发送请求,获取网页内容,并解析出所需要的数据。 2. 构造URL:拼多多的商品数据通过API进行获取,因此需要构造合适的URL来获取所需数据。根据API文档,可以获取到商品的基本信息、价格、销量等数据。 3. 发送请求:使用Python的requests库,将构造好的URL发送给服务器,并获取返回的数据。通常会使用GET请求来获取数据。 4. 解析数据:对返回的数据进行解析,提取出需要的字段信息。可以使用Python的json库和字符串截取等方法来解析数据,将其转换为Python数据结构,方便后续的数据处理和分析。 5. 数据存储:将解析出来的数据存储起来,可以选择存储到数据库中(如MySQL、MongoDB等),也可以存储为Excel、CSV等文件格式,以备之后的使用。 6. 循环爬取:可以通过循环遍历不同的页面或者不同的商品分类来获取更多的数据。同时要注意设置合适的爬取频率,防止对服务器造成过大的负担。 总的来说,Python采集拼多多数据的教程需要具备一定的Python编程基础,熟悉爬虫相关的库和模块,同时还需要对拼多多的API和数据结构有一定的了解。通过以上步骤,可以较为简单地实现对拼多多数据爬取和处理。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值