爬取数据并进行保存

import requests
import json
import pandas as pd

url = "https://www.ptpress.com.cn//masterpiece/getMasterpieceListForPortal"
rq = requests.get(url)
data = json.loads(rq.text)

{'data': [{'picPath': 'https://cdn.ptpress.cn/uploadimg/Material/978-7-115-52057-9/72jpg/52057_s300.jpg',
   'bookName': '科技改变中国丛书(2019年主题出版重点项目)',
   'seq': 1,
   'bookId': '140c53af-0fa9-4d80-ba79-a768169c9382'},
  {'picPath': 'https://cdn.ptpress.cn/uploadimg/Material/978-7-115-44355-7/72jpg/44355_s300.jpg',
   'bookName': '文明之光(中华优秀出版物奖图书奖)',
   'seq': 2,
   'bookId': 'f7d8608d-fad6-4b50-8d7e-07e4e2e0ca0d'},
  {'picPath': 'https://cdn.ptpress.cn/uploadimg/Material/978-7-115-51316-8/72jpg/51316_s300.jpg',
   'bookName': '奇妙量子世界(2019年度“中国好书”)',
   'seq': 3,
   'bookId': '99e8d193-00c6-42fc-b8e7-4207f0ebb432'},
  {'picPath': 'https://cdn.ptpress.cn/uploadimg/Material/978-7-115-26039-0/72jpg/26039_s300.jpg',
   'bookName': '科学家带你去探险丛书(国家科技进步二等奖)',
   'seq': 4,
   'bookId': '31f74ba4-9afe-4fac-b95f-cba02744d61f'},
  {'picPath': 'https://cdn.ptpress.cn/uploadimg/Material/978-7-115-38358-7/72jpg/38358_s300.jpg',
   'bookName': '空间多维协同传输理论与关键技术(第四届中国出版政府奖图书奖)',
   'seq': 5,
   'bookId': '0254b28d-5aeb-4cae-905c-8041f03cf6b3'},
  {'picPath': 'https://cdn.ptpress.cn/uploadimg/Material/978-7-115-57094-9/72jpg/57094_s300.jpg',
   'bookName': '科学与忠诚:钱学森的人生答卷',
   'seq': 6,
   'bookId': '31a77b57-1e9c-47c2-a5e8-52bd7583145a'},
  {'picPath': 'https://cdn.ptpress.cn/uploadimg/Material/978-7-115-53878-9/72jpg/53878_s300.jpg',
   'bookName': '计量单位进化史 从度量身体到度量宇宙',
   'seq': 7,
   'bookId': 'e36f78cf-a504-4d26-b7d3-961583204c59'},
  {'picPath': 'https://cdn.ptpress.cn/uploadimg/Material/978-7-115-56607-2/72jpg/56607_s300.jpg',
   'bookName': '一说万物 现代物理学百年漫谈',
   'seq': 8,
   'bookId': 'ec23099b-2d06-43a0-bebf-82e4479e12e8'}],
 'msg': '返回数据成功!',
 'success': True}

print(type(data))

<class 'dict'>

print(type(rq.text))
print(type(data))
book_id = [i["bookId"] for i in data["data"]]

['140c53af-0fa9-4d80-ba79-a768169c9382',
 'f7d8608d-fad6-4b50-8d7e-07e4e2e0ca0d',
 '99e8d193-00c6-42fc-b8e7-4207f0ebb432',
 '31f74ba4-9afe-4fac-b95f-cba02744d61f',
 '0254b28d-5aeb-4cae-905c-8041f03cf6b3',
 '31a77b57-1e9c-47c2-a5e8-52bd7583145a',
 'e36f78cf-a504-4d26-b7d3-961583204c59',
 'ec23099b-2d06-43a0-bebf-82e4479e12e8']

book_Name = [i["bookName"] for i in data["data"]]

['科技改变中国丛书(2019年主题出版重点项目)',
 '文明之光(中华优秀出版物奖图书奖)',
 '奇妙量子世界(2019年度“中国好书”)',
 '科学家带你去探险丛书(国家科技进步二等奖)',
 '空间多维协同传输理论与关键技术(第四届中国出版政府奖图书奖)',
 '科学与忠诚:钱学森的人生答卷',
 '计量单位进化史 从度量身体到度量宇宙',
 '一说万物 现代物理学百年漫谈']

book_info = pd.DataFrame({
    "book_id":book_id,
    "book_name":book_Name
})

最后对其进行保存

book_info.to_csv("./tmp/book_info.csv", index=None, encoding="utf-8-sig")

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值