Python获取起点网图书信息

最新推荐文章于 2021-04-26 17:10:41 发布
最新推荐文章于 2021-04-26 17:10:41 发布
阅读量494 收藏
点赞数
分类专栏： Python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26656329/article/details/78193511
版权
该博客介绍了如何使用Python编程语言从起点网上抓取图书的基本信息，主要聚焦于书名的获取。若读者需要获取更多如作者、简介等其他信息，文章提供了可扩展的方向。
摘要由CSDN通过智能技术生成

只获取了书名，需要别的信息可自行添加

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# author=He
import re
from urllib import request
from bs4 import BeautifulSoup
url = 'https://www.qidian.com'
header = {
    'Cookie': 'AD_RS_COOKIE=20080917',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \ AppleWeb\Kit/537.36 (KHTML, like Gecko)\ '
                  'Chrome/58.0.3029.110 Safari/537.36'}
最低0.47元/天 解锁文章
akio_medue
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬取起点中文网小说
weixin_42340241的博客
01-31 1004
python爬取起点中文网小说 完整代码： import requests from lxml import etree header = { 'User-Agent':'Mozilla/5.0(Macintosh;Inter Mac OS X 10_13_3) AppleWebkit/537.36 (KHTML,like Gecko)' ...
Python爬取豆瓣图书信息
12-19
爬取指定标签List下评分8.5分以上的图书信息，包括书名、作者、评分、简介，并保存到excel，以标签分类，放到不同的sheet中。核心代码： title= book.find_element_by_xpath('.//a[1]').text #获取书名 zuozhe= book.find_element_by_xpath('.//div[1]').text.split('/',1)[0] jianjie= book.find_element_by_xpath('.//p[1]').text #获取简介 worksheet.write(i,0,fenshu); #分数写入第i行的第一列 worksheet.write(i,1,title); #书名写入第i行的第二列 worksheet.write(i,2,zuozhe); #作者写入第i行的第三列 worksheet.write(i,3,jianjie); #简介写入第i行的第四列
python书籍信息爬虫实例
12-23
python书籍信息爬虫示例，供大家参考，具体内容如下 背景说明 需要收集一些书籍信息，以豆瓣书籍条目作为源，得到一些有效书籍信息，并保存到本地数据库。 获取书籍分类标签 具体可参考这个链接： https://book.douban.com/tag/?view=type 然后将这些分类标签链接存到本地某个文件，存储内容如下 https://book.douban.com/tag/小说 https://book.douban.com/tag/外国文学 https://book.douban.com/tag/文学 https://book.douban.com/tag/随笔 https://
Python爬虫小项目：爬一个图书网站
porryCn的博客
11-21 1014
#!/usr/bin/python #coding:utf-8 import json import urllib2 import re from bs4 import BeautifulSoup import MySQLdb import sys reload(sys) sys.setdefaultencoding('utf8') def ConnectMysql(book_name,i...
Python爬虫-Beautiful Soup-当当图书目录（1）
Aiken的自由世界
04-12 845
Python爬虫-Beautiful Soup-当当图书目录（1） 第一次用python + Beautiful Soup爬些数据，用当当图书目录作为练习了。 思路： - 1. 获取当当的图书类别：类报名称 + 链接 url 效果： 脚本说明： - 1. mylog.py：日志 - 2. getBookKindInfo.py：图书目录 mylog.py ...
[python]书籍信息爬虫示例
moxiaomomo的专栏
01-10 1381
[python]书籍信息爬虫示例 背景说明 需要收集一些书籍信息，以豆瓣书籍条目作为源，得到一些有效书籍信息，并保存到本地数据库。 获取书籍分类标签 具体可参考这个链接： https://book.douban.com/tag/?view=type 然后将这些分类标签链接存到本地某个文件，存储内容如下 https://book.douban.com/tag/小说 https://bo
《Python3 网络爬虫宝典》随书配套代码
11-21
在Python语言中，网络爬虫是利用编程技术自动从互联网上获取大量信息的一种方法。Python因其简洁明了的语法和强大的库支持，成为了网络爬虫开发的首选语言。例如，`requests`库用于发送HTTP请求，`BeautifulSoup`或`...
python爬虫入门到精通必备的书籍.docx
06-12
Python 爬虫是互联网数据抓取的重要工具，学习Python爬虫可以帮助你高效地获取网络上的信息。Python作为一门强大的编程语言，拥有丰富的库支持，如urllib、urllib2、requests、beautifulsoup、scrapy、pyspider等，...
python的概要介绍与分析
最新发布
05-04
- **Python官方网站**：Python.org不仅是所有Python学习之旅的起点，还提供了最新的Python版本下载、安装指南以及详尽的官方文档，涵盖了语言参考、标准库、教程等内容，是非常权威的学习资源。 - **Python官方教程*...
网络爬虫－Python和数据分析.pdf
02-13
在学习和实践中，Python社区提供了丰富的资源，包括书籍和在线教程，例如，可以加入非盈利的Python编程学习交流群，获取更多学习资料和支持。通过学习和掌握网络爬虫技术，不仅可以提升对网络数据的获取和处理能力，...
起点中文网
01-07
起点中文网源码，，css，html，仿照起点中文网可用于网页大赛。
python 爬虫(起点)网络小说
小牧在一直在学习,在前进的道路上大家一起学习，进步。
04-26 1992
1 先确定要爬取的小说是get 请求换是post 请求 1.1先在网站上打开一篇小说: 1.2 f12 进去开发者模式 1.3 切换到NetWork 发现有一个空白,可以点击左侧的小说内容 点击之后可以看到显示内容了如下 然后点击一下,可以看到请求的方式了 确认是get 请求之后,先确认电脑上是否下载2个工具 requests(负责连接网站处理http 协议) 和 bs4(bs4负责将网页变成结构化数据) 没有的话可以下载 终端中使用 pip install request..
python爬取起点小说_Python简单爬取起点中文网小说（仅学习）
weixin_28707365的博客
02-10 2743
前言实习期间自学了vba，现在开始捡回以前上课学过的python，在此记录学习进程本文内容仅用于学习，请勿商用一、爬虫思路无需登录的页面只需要用到简单爬虫，获取小说目录、通过目录获取小说正文即可。二、使用步骤1.引入库代码如下(示例)：import requests,sysfrom bs4 import BeautifulSoup2.读取页面代码如下(示例)：target = 'https://b...
用 Python 爬取起点小说网
Python中文社区
12-23 2124
目标爬取一本仙侠类的小说下载并保存为txt文件到本地。本例为“大周仙吏”。项目准备软件：Pycharm第三方库：requests,fake_useragent,lxml网站地址：http...
爬取豆瓣的图书信息
飞花的世界
03-23 1654
emmm，感谢豆瓣提供的平台，爬也没那么多反爬虫机制。于是顺手爬了。。。# coding:utf-8# 采集豆瓣书信息和图片，写进数据库from urllib import parsefrom urllib import requestfrom lxml import etreeimport json, pymysqlimport timebiaoqianmen=[ '外国文学', '文学' , ...
爬取起点中文网的小说
weixin_43716908的博客
11-23 612
运行无反应，也不报错，啥毛病?? import xlwt import requests from lxml import etree import time all_info_list=[] def get_info(url): html=requests.get(url) selector=etree.HTML(html.text) infos=selector.xp...
python 小说分析_Python起点小说数据分析
weixin_39534780的博客
11-20 1245
起点，作为一个8年的老书虫肯定是知道。既然学习了数据分析，就看看起点的数据。1 获取数据首先，肯定要先获取数据，巧妇难为无米之炊，没有数据也是白搭。没有现成的数据，只能通过爬虫来爬取我们需要的数据，这里就不写怎么获取数据了。爬虫的代码是我写的第一个爬虫，准确的说应该是复制粘贴。写得也真是够烂的，爬取过程一直断，只好分小说类型一点一点爬取。庆幸的是起点中文网并没有什么反爬虫措施，不然连数据都拿不到。...
爬虫-scrapy框架-起点中文网的爬取
pyhui的技术博客
11-01 800
起点中文全站爬取 - 知乎 https://zhuanlan.zhihu.com/p/89575876
python爬虫爬取小说
weixin_43326436的博客
09-15 315
import requests from bs4 import BeautifulSoup from PIL import Image,ImageTk import tkinter as tk import io import pickle from tkinter import messagebox index = -1 h = {‘User-Agent’: ‘Mozilla/5.0 (Wind...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值