http://www.ptpress.com.cn/

最新推荐文章于 2023-04-09 10:07:27 发布
最新推荐文章于 2023-04-09 10:07:27 发布
阅读量8.1k 收藏
点赞数
分类专栏： 好网站的网址
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kakaxia6337/article/details/5531911
版权
kakaxia6337
关注
专栏目录
python网络爬虫——爬取人民邮电出版社新书推荐信息
weixin_66547608的博客
10-30 936
这段代码是一个爬取人民邮电出版社新书推荐信息的程序。它使用requests库发送HTTP请求，获取新书列表和每本书的详细信息，然后将数据保存到Excel文件中。具体的步骤如下： 导入所需的库：requests、json和openpyxl。 定义了一个URL变量，用于发送GET请求获取新书推荐列表的数据。 设置请求头信息，包括User-Agent和Cookie。 使用requests库的get()方法发送HTTP请求，并将响应内容解析为JSON格式。 定义了一个函数save_excel()，用于创建Exce
网络爬虫技术笔记——常规动态网页爬取
weixin_68874096的博客
05-20 931
1.无法从HTML源码中直接获取页面元素2.前端页面与后台数据库联动，动态更新3.网页内容可能由JavaScript动态生成4.可能应用了AJAX技术和动态HTML技术。
Python网络爬虫之动态网络爬取(一)
weixin_43636211的博客
11-12 887
** 1 Selenium及其他插件安装 ** 1.1 Selenium + PhantomJS T 由于目前最新的SeleniumE经放弃PhantomJs,所以大家在安装时首先要查看下你所安装的Selenium版本信息，在命令行(终端)中输入以下指令来查看Selenium的版本信息： pip show selenium 如果发现你的版本248.0,需要执行以下操作进行卸载重装Selenium ...
网络爬虫：post和getf方法爬取人民邮电书籍基本信息并存入excel文件
xal
11-17 1326
网络爬虫：post和getf方法爬取人民邮电书籍基本信息 文章目录网络爬虫：post和getf方法爬取人民邮电书籍基本信息get方法获取基本信息（主要获取bookId）通过bookId,获取书籍价格通过bookId，获取ISbn通过Isbn获取 库存将基本信息存入excel表格完整代码 get方法获取基本信息（主要获取bookId） def getList(): url = 'https://www.ptpress.com.cn/recommendBook/getRecommendBookListF
爬虫中手动输入验证码方法无法获取图片src地址
木字旁棋
12-30 1618
爬虫中手动输入验证码方法无法获取图片src地址 以登陆人民邮电出版社为例：https://www.ptpress.com.cn/login 验证码在html中图片标签内容： <class=“verCodeImg” src="/kaptcha.jpg?v=0.234724039578059" οnclick=“verCode(this)”> < class=“verCodeImg” src="/kaptcha.jpg?v=0.234724239578059" οnclick=“verCo
爬取人民邮电出版社（网址为：https://www.ptpress.com.cn）页面图书价格，生成GET请求并打印出状态码和页面文本信息
06-08
在这个代码中，我们先使用 `requests` 库中的 `get()` 方法发送一个 GET 请求，获取 https://www.ptpress.com.cn 的首页页面信息。 然后，我们使用 `BeautifulSoup` 库解析 HTML 页面，并找到所有图书信息所在的 `...
优化代码import json import requests from lxml import etree import pandas as pd import time #url='https://www.ptpress.com.cn/masterpiece/getMasterpieceListForPortal' #https://www.ptpress.com.cn/recommendBook/getRecommendTupeListForPortal #http://www.ptpress.com.cn/masterpiece/getMasterpieceListForPortal url='https://www.5iai.com/api/enterprise/job/public/es?pageSize=10&pageNumber=1'#目标数据文件的url #url = ' https://www.5iai.com/api/enterprise/job/public/es?pageSize=10&pageNumber=2&willNature=&function=&wageList=%255B%255D&workplace=&keyword=' for i in range (1,20): response=requests.get(url) aa=response.text print(type(aa)) json_text=json.loads(aa) print(type(json_text)) json_text.keys() bb=json_text['data'] print(type(bb)) print(bb.keys()) cc= bb['content'] print(type(cc)) ee0=cc[0] #是第一条信息 ee1=cc[1] len(cc)#是cc的第一个招聘的第一页招聘信息，是列表类型 print(type(ee0)) ee0.keys() ee1.keys()#0和1的的字典的键都是一样的 data=pd.DataFrame(cc) data.columns ff=data['enterpriseAddress'] print(type(ff)) gg0=ff[0] gg1=ff[1] hh0=gg0['detailedAddress'] hh1 = gg1['detailedAddress'] hh3= ff[2]['detailedAddress'] hh4= ff[3]['detailedAddress'] hh5=data['enterpriseAddress'] [4]['detailedAddress'] data['工作地址']=ff.apply(lambda x:x['detailedAddress']) data['工作地址']=data['enterpriseAddress'].apply(lambda x:x['detailedAddress']) data['工作城市']=data['enterpriseAddress'].apply(lambda x:x['cityCode']) kk=data['enterpriseExtInfo'] print(type(kk)) ll0=kk[0] data['公司名称']=data['enterpriseExtInfo'].apply(lambda x:x['shortName']) data['行业']=data['enterpriseExtInfo'].apply(lambda x:x['industry']) data['人员规模']=data['enterpriseExtInfo'].apply(lambda x:x['personScope']) data['企业性质']=data['enterpriseExtInfo'].apply(lambda x:x['econKind']) data.keys() colNames=['positionName','minimumWage','maximumWage','exp','educationalRequirements','工作地址','工作城市','公司名称','行业','人员规模','企业性质'] data_drop=data[colNames] #https: // www.5iai.com / api / enterprise / job / public?id = 1657941238357299201 #https: // www.5iai.com / api / enterprise / job / public?id = 1657941238353104896 data['id'] #print(type(data['id'])) #suburl='https://www.5iai.com/api/enterprise/job/public?id=1657941238353104896' jobDes = [] for idd in data['id']: suburl = 'https://www.5iai.com/api/enterprise/job/public?id={}'.format(idd) sub_response=requests.get(suburl) subb=sub_response.text #print(type(subb)) sub_text=json.loads(subb) #print(type(sub_text)) sub_text.keys subaa=sub_text['data'] #print(type(subaa)) subaa.keys jobms=subaa['jobRequiredments'] #print(type(jobDes)) jobDes.append(jobms) time.sleep(2) data_drop['职位描述']=jobDes
06-10
url = 'https://www.5iai.com/api/enterprise/job/public/es?pageSize=10&pageNumber={}' # 目标数据文件的url data_list = [] # 用于存放所有爬取到的数据 for i in range(1, 20): response = requests.get(url....
爬取人民邮电出版社（https://www.ptpress.com.cn/）中的新出推荐中的类别，已经相关类别中的书籍列表，最后按照目录类别保存相关的书籍列表，并把数据存储在book.csv文件中
最新发布
05-12
url = 'https://www.ptpress.com.cn/' res = requests.get(url) soup = BeautifulSoup(res.text, 'html.parser') # 获取新出推荐中的类别和相关类别中的书籍列表 category_list = [] book_list = [] for category ...
爬取人民邮电出版社（https://www.ptpress.com.cn/）中的新书推荐中的类别，已经相关类别中的书籍列表，最后按照目录类别保存相关的书籍列表，并把数据存储在data目录下的book.csv文件中。
05-12
url = 'https://www.ptpress.com.cn/' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 获取新书推荐中的所有目录类别链接 category_links = [] for category in soup.select...
Python爬虫：使用Selenium爬取需要登录的网站信息
Zijeak的博客
01-11 5081
1.基础知识 1.1请求主页面 url = 'https://www.ptpress.com.cn/shopping/index' from selenium import webdriver #导入库 import time driver = webdriver.Chrome() #声明浏览器 driver.get(url) #请求网页 time.sleep(10) 1.2 ...
网站集锦-电子
热门推荐
aaaaatiger--寻路
04-17 4万+
网站集锦（转）                                        mcs-51单片机技术学习：www.laogu.comwww.mcu51.comwww.c51bbs.comwww.21icbbs.com=========================================================================要购买的书
数据采集与预处理课程 ——课中考试 ——爬取网页书籍信息并保存到excel
qq_30136729的博客
11-19 2123
记录： 2021-2022第1学期数据采集与预处理课程 课中考试 一、打开人民邮电出版社（http://www.ptpress.com.cn）主页，找到“新书推荐版块” 中对应方向的真实地址。（学号1-2选计算机，3-4选电子，依次类推。） 二、编写代码获取相关图书的基本信息“bookName”、“bookID”、“picPath”保存到excel 中，命名为“某类新书基本信息.xlsx”，例如：“计算机新书基本信息. xlsx”。 三、在第二步的基础上爬取图书的价格和库存信息，保存到Excel表中，命名
关于使用http://www.tenaa.com.cn/求证手机真假的方法
u013444147的博客
10-30 1万+
使用http://www.tenaa.com.cn/求证手机真假的方法具体步骤如下: 　　1.进入http://www.tenaa.com.cn/网站后,首先输入的是您的省份,城市,和许可证号.许可证号需要去掉电池,在手机的后面看一个贴条: 进网许可;第一行就是许可证号； 第二行是设备型号； 第三行是扰码; 　　2.点击下一步后,将会出现你手机的正确设...
3344avd_AVD生根
weixin_26739079的博客
09-08 6305
3344avdSetting up Android testing environment if you’re looking for a platform other than Genymotion by creating rooted AVD in Android Studio 如果您要通过在Android Studio中创建植根的AVD来寻找Genymotion以外的平台，则可以设置Andr...
书籍、库函数和深度学习框架学习笔记
xrinosvip的博客
08-25 417
主流出版社网站推荐： 人民邮电出版社： https://www.ptpress.com.cn/ 华章图书：（这里的书籍一般比较新） http://www.hzbook.com/index.php/Index/index.html Inform IT： http://www.informit.com/ 机工教育服务网： http://www.cmpedu.com/...
https://app.hackthebox.com/machines/Squashed
32bin的博客
04-09 7382
【代码】攻防世界-level0。
在线编译器地址
欧阳海宾
08-15 3145
地址1：http://www.dooccn.com/cpp/
非常好用的php在线工具 http://www.dooccn.com/php/ （还包括其它很多语言， 棒棒哒！）
认知 行动 坚持
08-05 1万+
推荐一款非常好用的php在线工具 http://www.dooccn.com/php/， 如下：
背单词的网站
kakaxia6337的专栏
02-18 680
http://www.ebigear.com/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值