爬取某网站计算机类图书

已于 2023-10-17 20:21:46 修改
阅读量254 收藏 1
点赞数 1
文章标签： java mysql 数据库
于 2023-10-17 20:18:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74972727/article/details/133892237
版权

网页链接：

https://www.ptpress.com.cn/shopping/search?tag=search&orderstr=hot&leve11-75424c57-6dd7-4d1f-b6b9-8e95773c0593

一、为了完成爬取数据，需要进行以下步骤

1.在浏览器中打开页面，选择"计算机"

2.可以看到大量的"计算机"相关书籍，右键点击"检查"

3.刷新页面，点击下一页，查看url

4.点击"Response",查看json格式中的信息，发现与要爬取的书籍信息一致

5.划到最低端可以发现计算机类图书查看页数（570页）

6.查看Date格式

7.根据书籍详情来爬取相关信息

二、代码部分

1.将爬取内容放入打印并放入excel表格中
import requests
import re
import datetime
from time import sleep
import pandas as pd

S = "bookLink"

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                 '(KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44',
}
url = 'https://www.ptpress.com.cn/bookinfo/getBookListForEBTag'
book_info = []
for page in range(1,571):
    data = {
        'bookTagId':'a15a734f-0ae9-41d7-9012-6ef9de2e71c8',
        'page':f'{page}',
        'rows':'18',
        'orderStr':'publish'
    }
    response = requests.post(url,data=data,headers=headers)
    data = response.json()

    author = data["data"]["data"][0]["author"]
    isbn = data["data"]["data"][0]["isbn"]
    publish = datetime.datetime.strptime(
        data["data"]["data"][0]["publishDate"],"%Y%m"
    )
    discountPrice = data["data"]["data"][0]["discountPrice"]
    bookDiscount = data["data"]["data"][0]["bookDiscount"]
    price = data["data"]["data"][0]["price"]
    bookId = data["data"]["data"][0]["bookId"]
    executiveEditor = data["data"]["data"][0]["executiveEditor"]
    bookName = data["data"]["data"][0]["bookName"]
    picPath = data["data"]["data"][0]["picPath"]
    bookLink = "https://www.ptpress.com.cn/shopping/buy?bookId=" + bookId

    book_info.append({
        "author":author,
        "isbn":isbn,
        "publish":publish,
        "discountPrice":discountPrice,
        "bookDiscount":bookDiscount,
        "price":price,
        "bookId":bookId,
        "executiveEditor":executiveEditor,
        "bookName":bookName,
        "picPath":picPath,
        "bookLink":bookLink
    })
    print(f"第{page}页爬取成功！")
    sleep(1)

print(book_info)

# 将数据保存到Excel文件中
df = pd.DataFrame(book_info)
df.to_excel("book_info.xlsx", index=False)
爬取结果：

2.将爬取内容放入打印并放入csv文件中
import requests
import re
import datetime
from time import sleep
import pandas as pd
import csv

S = "bookLink"

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                 '(KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44',
}
url = 'https://www.ptpress.com.cn/bookinfo/getBookListForEBTag'
book_info = []
for page in range(1,571):
    data = {
        'bookTagId':'a15a734f-0ae9-41d7-9012-6ef9de2e71c8',
        'page':f'{page}',
        'rows':'18',
        'orderStr':'publish'
    }
    response = requests.post(url,data=data,headers=headers)
    data = response.json()

    author = data["data"]["data"][0]["author"]
    isbn = data["data"]["data"][0]["isbn"]
    publish = datetime.datetime.strptime(
        data["data"]["data"][0]["publishDate"],"%Y%m"
    )
    discountPrice = data["data"]["data"][0]["discountPrice"]
    bookDiscount = data["data"]["data"][0]["bookDiscount"]
    price = data["data"]["data"][0]["price"]
    bookId = data["data"]["data"][0]["bookId"]
    executiveEditor = data["data"]["data"][0]["executiveEditor"]
    bookName = data["data"]["data"][0]["bookName"]
    picPath = data["data"]["data"][0]["picPath"]
    bookLink = "https://www.ptpress.com.cn/shopping/buy?bookId=" + bookId

    book_info.append({
        "author":author,
        "isbn":isbn,
        "publish":publish,
        "discountPrice":discountPrice,
        "bookDiscount":bookDiscount,
        "price":price,
        "bookId":bookId,
        "executiveEditor":executiveEditor,
        "bookName":bookName,
        "picPath":picPath,
        "bookLink":bookLink
    })
    print(f"第{page}页爬取成功！")
    sleep(1)

print(book_info)

# 将数据保存到csv文件中
df = pd.DataFrame(book_info)
df.to_csv("人民邮电计算机书本信息.csv", index=False)
爬取结果：

3.将爬取内容放入打印并放入MySQL数据库中
import requests
import re
import datetime
from time import sleep
import pandas as pd
import csv
import pymysql

S = "bookLink"

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                 '(KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36 Edg/95.0.1020.44',
}
url = 'https://www.ptpress.com.cn/bookinfo/getBookListForEBTag'
book_info = []
for page in range(1,571):
    data = {
        'bookTagId':'a15a734f-0ae9-41d7-9012-6ef9de2e71c8',
        'page':f'{page}',
        'rows':'18',
        'orderStr':'publish'
    }
    response = requests.post(url,data=data,headers=headers)
    data = response.json()

    author = data["data"]["data"][0]["author"]
    isbn = data["data"]["data"][0]["isbn"]
    publish = datetime.datetime.strptime(
        data["data"]["data"][0]["publishDate"],"%Y%m"
    )
    discountPrice = data["data"]["data"][0]["discountPrice"]
    bookDiscount = data["data"]["data"][0]["bookDiscount"]
    price = data["data"]["data"][0]["price"]
    bookId = data["data"]["data"][0]["bookId"]
    executiveEditor = data["data"]["data"][0]["executiveEditor"]
    bookName = data["data"]["data"][0]["bookName"]
    picPath = data["data"]["data"][0]["picPath"]
    bookLink = "https://www.ptpress.com.cn/shopping/buy?bookId=" + bookId

    book_info.append({
        "author":author,
        "isbn":isbn,
        "publish":publish,
        "discountPrice":discountPrice,
        "bookDiscount":bookDiscount,
        "price":price,
        "bookId":bookId,
        "executiveEditor":executiveEditor,
        "bookName":bookName,
        "picPath":picPath,
        "bookLink":bookLink
    })
    print(f"第{page}页爬取成功！")
    sleep(1)

print(book_info)

# 将数据保存到MySQL数据库中
conn = pymysql.connect(host='localhost', user='root', password='your_password', db='your_database', charset='utf8')
cursor = conn.cursor()

# 创建表格booklist
cursor.execute('CREATE TABLE IF NOT EXISTS booklist (author VARCHAR(255), isbn VARCHAR(255), publish DATE, discountPrice FLOAT, bookDiscount FLOAT, price FLOAT, bookId VARCHAR(255), executiveEditor VARCHAR(255), bookName VARCHAR(255), picPath VARCHAR(255), bookLink VARCHAR(255))')

# 将数据插入到表格booklist中
for book in book_info:
    sql = f"INSERT INTO booklist (author, isbn, publish, discountPrice, bookDiscount, price, bookId, executiveEditor, bookName, picPath, bookLink) VALUES ('{book['author']}', '{book['isbn']}', '{book['publish'].strftime('%Y-%m-%d')}', {book['discountPrice']}, {book['bookDiscount']}, {book['price']}, '{book['bookId']}', '{book['executiveEditor']}', '{book['bookName']}', '{book['picPath']}', '{book['bookLink']}')"
    cursor.execute(sql)

# 提交事务
conn.commit()

# 关闭连接
cursor.close()
conn.close()
爬取结果：

马龙强_
关注
python动态爬虫案例
qq_63897791的博客
03-26 884
2.切换图书类型，找到调用的新的接口，找到返回的对应类型下的图书信息（预览部分）。注意，在调用该接口时携带了参数。3.打开一本图书，找到对应接口，根据调用接口时携带的bookId参数获取返回的对应图书的具体信息。1.获取能返回bookTagId的接口，将bookTagId获取下来，以便于批量保存图书信息。
python动态爬虫学习
qq_63897791的博客
03-25 373
1.找到返回bookId参数的url，在目标网页打开开发者模式（F12），如果第三步所在的板块无法看见，先在检查模式下刷新网页，然后找出对应的名称，标头中对应的url即为当前板块的真实链接，在底部还可以找到对应的User-Agent。3.任意打开一本书，找到对应的接口url，以及携带的参数（在负载部分查看），接着按照第2步的方法继续进行。2.获取返回值，切换到预览部分，将返回data转为字典或列表模式，获取bookName和bookId。4.保存到xlsx文件中。
常规动态网页爬取
m0_74972727的博客
10-17 273
【代码】常规动态网页爬取。
Python|爬取书籍信息
Unknowncheats的博客
06-05 1592
1.前言 爬虫可以有助于快速地从网页中获取想要的信息，从而大大减少工作量今天小编就用实际案例为大家讲解如何爬取网站的一些书籍信息。 2.环境配置 Pycharm，python3，爬虫库request，re模块。 3.爬取目标 爬虫的一般思路：分析目标网页，确定urlà发送请求，获取响应à解析数据à保存数据。 http://www.wsgph.com/so.asp？key=%C9%EE%B6%C8%D1%A7%CF%B0&imgbtn.x=38&imgbtn.y=18 第一步：分...
Python爬取京东书籍信息（包括书籍评论数、简介等）
qq_45919097的博客
08-02 4636
Python爬取京东书籍信息（包括书籍评论数、简介等）一. 工具二. 准备爬取的数据三. 内容简述四. 页面分析（一） 寻找目录中商品所在标签（二） 寻找页面中能爬取到的所有数据（三） 寻找评论数所在链接（四） 寻找书籍简介所在链接五. 代码整合 一. 工具 PyCharm Scrapy Chrome浏览器 二. 准备爬取的数据 items.py import scrapy class JdbookItem(scrapy.Item): # define the fields for your
2025年最全的计算机软件毕业设计选题大全
热门推荐
java李阳勇的博客
09-19 46万+
目录2. 相关案例项目案例3. SpringBoot选题参考4. 微信小程序选题参考5. 传统Java SSM选题参考6. Python项目选题参考9. 其他项目选题参考10. 源码项目获取联系 ​​​​​ ​​ ​​​​基于Java+SpringBoot+Vue前后端分离小区生活保障系统设计和实现8. 安卓APP选题参考 下面的这些选题难度比较高，非必要必要选
Python爬取网站小说并可视化分析
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
10-23 6132
时间荏苒，岁月不居，看过四处风景，唯独钟爱，路遥先生的那一句话“人之所以痛苦，在于追求错误的东西，如果你不给自己烦恼，别人也永远不可能给你烦恼”，生活正是如此，一切过多的在意都是自己的想法，有时候就需要活的洒脱一点，学会看淡一点，多看点书，人自然也就变得开明了，事物也就自然看的透彻一点。 读书破万卷、下笔如有神，书中自有黄金屋，书中自有颜如玉，腹有诗书气自华…中国是诗的国度，更是书籍文化的摇篮，书本最是可以提升一个人的气度。那么今天我们就来做一个项目，我把我最喜欢的《人生》这本书数据爬取下来，做一个简单的数
python爬取电子书_python爬取计算机电子书（源码移步github）
weixin_39828847的博客
12-04 536
摘要：今年第一个项目，python爬取网络上公开的计算机电子书近8000本，在此基础上简要分析计算机专业的发展变迁。部分整理好的书籍下载链接见文末。代码链接见文末。计算机诞生以来不到100年，学术的、技术的或者一些不知所云的关于计算机的书籍已不胜凡几。不翻墙，在某知名学术网站上computer science书籍搜索就有25600条。为囤书计，本着互联网分享精神，开发了一个python爬虫，来爬取...
【R语言爬虫实战】——爬取某影评并建立主题模型（附完整代码）
jd1813346972的博客
03-11 1556
通过网络爬虫技术爬取豆瓣影评上660条《我和我对家乡》热点影评数据，接着利用**结巴分词、自己收集的停用词词典大大提高了中文分词准确性，并基于IF-IDF方法为关键词赋值权重，提高主题分类及情感分类的合理性。
基于Python的BeautifulSoup库爬取电影、图书、音乐数据的数据分析系统源码+文档.zip
01-16
本系统还有搜索功能，可以具体查询某一部电影、音乐或图书的数据分析，同时当搜索到一个数据库中不存在的数据时，后台将自动进行在线爬取存入数据库，即我们将数据搜集的过程也加入到了网站上，从而实现了数据收集...
Selenium爬取网页
weixin_50909683的博客
12-10 1959
基于Selenium爬取动态网页一、打开百度并进行搜索二、爬取名人名言1. 爬取一页2. 爬取5页3. 数据储存4. 总代码三、爬取京东书籍信息四、总结 一、打开百度并进行搜索 打开百度： from selenium.webdriver import Chrome web = Chrome() web.get('https://www.baidu.com') 找到开发者选项： 输入要查询的值并回车： input_btn = web.find_element_by_id('kw') input_btn.
Python爬虫爬取智联招聘（进阶版）_爬虫智行
2401_84692429的博客
04-29 1095
’’主函数‘’’‘’’获取该页中所有职位信息，写入csv文件‘’’# 对数据进行清洗，将标点符号等对词频统计造成影响的因素剔除pattern = re.compile(r’[一-龥]+')‘’’读取一列‘’’
【python爬虫实例】爬取豆瓣图书及信息
ccszbd的博客
12-14 6947
# -*- coding: UTF-8 -*- import sys import time import urllib import requests import numpy as np from bs4 import BeautifulSoup from openpyxl import Workbook # Some User Agents hds = [{'User-Agent': ...
基于Hive和Hadoop的哔哩哔哩网站分析系统
图南的博客
09-27 562
本项目是一个基于大数据技术的哔哩哔哩平台分析系统，旨在为用户提供全面的哔哩哔哩视频数据和深入的用户行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供精准的内容推荐和深入的用户兴趣分析，帮助平台更好地了解视频趋势和用户需求。
JavaScript ArrayBuffer的读写与类型转换
最新发布
白瑕 的博客
10-01 205
所有视图的基本单位是ArrayBuffer, ArrayBuffer中只存储二进制格式的数据.ArrayBuffer不可直接读写, 必须通过视图(比如DataView)暴露的API.
Spring Cloud全解析：服务调用之OpenFeign集成OkHttp
Lxn2zh的博客
09-30 434
HTTP连接需要进行TCP三次握手，是一个比较耗时的操作，一般我们不直接使用HttpURLConnection，而是使用HttpClient/okHttp等支持连接池的客户端工具，以Feign集成OkHttp为例。OpenFeign本质是HTTP来进行服务调用的，也就是需要集成一个Http客户端。默认是HttpURLConnection方式，也就是jdk中提供的最原始的那个。要开启OkHttp ,还需要在YML 中添加开启配置项，默认是关闭的。使用的是Client接口来进行请求的。
Java内存布局
阿呆的专栏
10-01 510
64位 JVM 不启用指针压缩时：Object Header 大小是16字节。64位 JVM 启用指针压缩时（默认）：Object Header 大小是12字节。32位 JVM：Object Header 大小是8字节。JVM在默认情况下启用指针压缩，但如果堆内存超过32GB，就会禁用指针压缩。32GB是压缩指针的最大寻址范围。超过32GB的堆内存中，压缩指针带来的性能提升并不显著，而且需要解压指针反而可能增加开销。
C#基础：掌握控制流语句，构建灵活的程序逻辑
学习和分享
09-28 292
在C#中，控制流语句是用来控制程序执行流程的重要部分。它们允许你根据条件执行不同的代码块，或者重复执行某些代码块直到满足特定条件。
爬取招聘网站计算机类岗位信息并写入csv文件
06-10
好的，这是一个比较常见的爬虫任务，我可以给你提供一个大致的思路： 1. 确定目标网站：选择一个比较好的招聘网站，比如智联招聘、51job等，然后查看网站的robots.txt文件，确定可以爬取的页面和频率限制。 2. 分析目标页面：打开目标网站，分析需要爬取的页面，查看页面源代码，确定需要爬取的数据字段。 3. 编写爬虫程序：使用Python编写爬虫程序，可以使用第三方库如requests、BeautifulSoup等来获取页面和解析HTML，也可以使用selenium模拟浏览器操作。 4. 存储数据：将爬取到的数据存储到CSV文件中，可以使用Python内置的csv模块。 5. 定时运行：可以使用Python的定时任务库如APScheduler、celery等来定时运行爬虫程序，保证数据的及时更新。 在具体实现时，需要注意反爬虫策略、数据清洗和去重等问题，同时要尊重网站的规则和法律法规。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

马龙强_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值