python网络爬虫从入门到实践 第4章(一)

最新推荐文章于 2024-03-23 17:37:22 发布
最新推荐文章于 2024-03-23 17:37:22 发布
阅读量1.9k 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wowocpp/article/details/100007954
版权

python网络爬虫从入门到实践 第4章

代码：

import requests

link = """https://api-zero.livere.com/v1/comments/list?callback=jQuery112403473268296510956_1531502963311&limit=10&repSeq=4272904&requestPath=%2Fv1%2Fcomments%2Flist&consumerSeq=1020&livereSeq=28583&smartloginSeq=5154&_=1531502963313"""

headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

r = requests.get(link, headers= headers)
print (r.text)

格式化之后的返回值:

/**/
typeof jQuery112403473268296510956_1531502963311 === 'function' && jQuery112403473268296510956_1531502963311({
	"results": {
		"parents": [{
			"replySeq": 38480448,
			"name": "***",
			"memberId": "UID_F6B215D7DEEDEAE9AF81B2D8DB4E1E5F",
			"memberIcon": "http://thirdqq.qlogo.cn/g?b=oidb&k=ricQqwkWCnMtF1oFF4D6Isg&s=100&t=1555792070",
			"memberUrl": "https://qq.com/",
			"memberDomain": "qq",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38480448,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "1.192.165.1",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-08-19T02:51:55.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "有点难哦",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31232886,
			"memberSeq": 31773506,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38470012,
			"name": "Sunny",
			"memberId": "oBVoaxPUgzCwxoSxypq9Ku9WUY3c",
			"memberIcon": "http://thirdwx.qlogo.cn/mmopen/vi_32/Q0j4TwGTfTJdB0PgiagfrjwNpjDujYns8kgLBUn5fYuJDPu5xUT0B3jnbljIrcibHBsp2owe7IbxxdIEgbu2TqXg/132",
			"memberUrl": "http://www.wechat.com",
			"memberDomain": "wechat",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38470012,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "183.250.210.197",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-08-17T05:09:51.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "试试解析真实地址抓取",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31224852,
			"memberSeq": 31765380,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38469774,
			"name": "Sunny",
			"memberId": "oBVoaxPUgzCwxoSxypq9Ku9WUY3c",
			"memberIcon": "http://thirdwx.qlogo.cn/mmopen/vi_32/Q0j4TwGTfTJdB0PgiagfrjwNpjDujYns8kgLBUn5fYuJDPu5xUT0B3jnbljIrcibHBsp2owe7IbxxdIEgbu2TqXg/132",
			"memberUrl": "http://www.wechat.com",
			"memberDomain": "wechat",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38469774,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "183.250.210.197",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 1,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-08-17T04:37:26.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "测试网络爬虫",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31224852,
			"memberSeq": 31765380,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38444830,
			"name": "照空",
			"memberId": "UID_E89F1487563A6463B8C2653589A26C13",
			"memberIcon": "http://thirdqq.qlogo.cn/g?b=oidb&k=79JiaH75XKXia1d8y0CMPiaxA&s=100&t=1555482527",
			"memberUrl": "https://qq.com/",
			"memberDomain": "qq",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38444830,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "113.222.176.166",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-08-14T07:41:17.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "test",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31210855,
			"memberSeq": 31751262,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38356587,
			"name": "O0o0O0o0O",
			"memberId": "UID_185A17117B12BEA662B3FEB1A8F9D657",
			"memberIcon": "http://thirdqq.qlogo.cn/g?b=oidb&k=nj3cibyjaMgcZLianK9p7a5Q&s=100&t=1562782712",
			"memberUrl": "https://qq.com/",
			"memberDomain": "qq",
			"good": 1,
			"bad": 0,
			"police": 0,
			"parentSeq": 38356587,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "1.25.148.187",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 1,
			"regdate": "2019-08-05T06:34:06.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "老师你好，我看的是您的第一版书，其中第64页上面您说(.*?)只匹配了smarter，但是63页印的结果是smarter than \n而且我自己测试代码是也是smarter than我把(.*?)改成(.*)后也是smarter than ,去官网查看了一下，好像是*？叫懒惰匹配\n因为我测试了代码的确是书上结果，但是和后面您说的不一样，是一些其他的原因吗？",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31162013,
			"memberSeq": 31701971,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38349288,
			"name": "雨与雨",
			"memberId": "UID_FBEEEF983EA93BE422BB0FB802493F07",
			"memberIcon": "http://thirdqq.qlogo.cn/g?b=oidb&k=0hP4VIwPrEx5icPVloTCC9A&s=100&t=1557075356",
			"memberUrl": "https://qq.com/",
			"memberDomain": "qq",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38349288,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "106.6.201.121",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-08-04T12:27:28.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "123",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31158374,
			"memberSeq": 31698300,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38349283,
			"name": "雨与雨",
			"memberId": "UID_FBEEEF983EA93BE422BB0FB802493F07",
			"memberIcon": "http://thirdqq.qlogo.cn/g?b=oidb&k=0hP4VIwPrEx5icPVloTCC9A&s=100&t=1557075356",
			"memberUrl": "https://qq.com/",
			"memberDomain": "qq",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38349283,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "106.6.201.121",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-08-04T12:27:09.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "677",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31158374,
			"memberSeq": 31698300,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38319183,
			"name": "iverson",
			"memberId": "oBVoaxCVOAzR24xKYcrYOpCcU6LM",
			"memberIcon": "http://thirdwx.qlogo.cn/mmopen/vi_32/Q0j4TwGTfTKOq59TrO00BVEw7JtUpG8Wcf6OeJzEEkiapyHQ3AeuU5r5yDbdSgFykLxbFGOe6nRQ9xIZ66jYgrA/132",
			"memberUrl": "http://www.wechat.com",
			"memberDomain": "wechat",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38319183,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "36.18.100.187",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-08-01T07:11:19.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "wyf的test",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31142089,
			"memberSeq": 31681833,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38311822,
			"name": "Liwkns",
			"memberId": "UID_ACECDE844B8032C155C09FC0B38C7BC2",
			"memberIcon": "http://thirdqq.qlogo.cn/g?b=oidb&k=0KafAicLdsVfAamlJzO470g&s=100&t=1562941631",
			"memberUrl": "https://qq.com/",
			"memberDomain": "qq",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38311822,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "61.186.190.44",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-07-31T07:41:44.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "4.3节用Selenium打开了网页，但是查看源代码的时候，评论那一块仍然是动态数据，有没有遇到一样问题的小伙伴交流一下啊 QQ424524128",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31135561,
			"memberSeq": 31675229,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}, {
			"replySeq": 38309568,
			"name": "wmn",
			"memberId": "wangmengningswu@163.com",
			"memberIcon": "https://cdn-city.livere.com/images/user_profile_1.png",
			"memberUrl": null,
			"memberDomain": "livere",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38309568,
			"directSeq": 0,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "61.186.190.44",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-07-31T02:55:19.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "2019.7.31",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 0,
			"memberSeq": 0,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}],
		"children": [{
			"replySeq": 38358130,
			"name": "O0o0O0o0O",
			"memberId": "UID_185A17117B12BEA662B3FEB1A8F9D657",
			"memberIcon": "http://thirdqq.qlogo.cn/g?b=oidb&k=nj3cibyjaMgcZLianK9p7a5Q&s=100&t=1562782712",
			"memberUrl": "https://qq.com/",
			"memberDomain": "qq",
			"good": 0,
			"bad": 0,
			"police": 0,
			"parentSeq": 38356587,
			"directSeq": 38356587,
			"shortUrl": null,
			"title": "Hello world!",
			"site": "http://www.santostang.com/2018/07/04/hello-world/",
			"email": null,
			"ipAddress": "1.25.148.187",
			"isMobile": "0",
			"agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36",
			"septSns": null,
			"targetService": null,
			"targetUserName": null,
			"info1": null,
			"info2": null,
			"info3": null,
			"image1": null,
			"image2": null,
			"image3": null,
			"link1": null,
			"link2": null,
			"link3": null,
			"isSecret": 0,
			"isModified": 0,
			"confirm": 0,
			"subCount": 0,
			"regdate": "2019-08-05T08:20:28.000Z",
			"deletedDate": null,
			"file1": null,
			"file2": null,
			"file3": null,
			"additionalSeq": 0,
			"content": "我又测试了下觉得可能是正则表达式中的dogs限制了原因，懒惰匹配是尽可能少的，也就意味着可能找不到返回none也是正常的，因为dogs的存在，所以限制了必须要把前面的smarter than全部匹配，如果没有dogs的话，我测试是可以的，就只是匹配了smarter",
			"quotationSeq": null,
			"quotationContent": null,
			"consumerSeq": 1020,
			"livereSeq": 28583,
			"repSeq": 4272904,
			"memberGroupSeq": 31162013,
			"memberSeq": 31701971,
			"status": 0,
			"repGroupSeq": 0,
			"adminSeq": 25413747,
			"deleteReason": null,
			"sticker": 0,
			"version": null
		}],
		"quotations": []
	},
	"resultCode": 200,
	"resultMessage": "Okay, livere"
});

整体代码:

import requests

link = """https://api-zero.livere.com/v1/comments/list?callback=jQuery112403473268296510956_1531502963311&limit=10&repSeq=4272904&requestPath=%2Fv1%2Fcomments%2Flist&consumerSeq=1020&livereSeq=28583&smartloginSeq=5154&_=1531502963313"""

headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}

r = requests.get(link, headers= headers)
print (r.text)


# 获取 json 的 string
json_string = r.text
json_string = json_string[json_string.find('{'):-2]
# 从第一个左大括号提取，最后的两个字符 - 括号和分号不取

import json
json_data = json.loads(json_string)
comment_list = json_data['results']['parents']

i = 0
for eachone in comment_list:
    message = eachone['content']
    i = i + 1
    print ('i=', i,'-----', message)
    print ('\n')

运行结果:不是全部


i= 1 ----- 有点难哦


i= 2 ----- 试试解析真实地址抓取


i= 3 ----- 测试网络爬虫


i= 4 ----- test


i= 5 ----- 老师你好，我看的是您的第一版书，其中第64页上面您说(.*?)只匹配了smarter，但是63页印的结果是smarter than 
而且我自己测试代码是也是smarter than我把(.*?)改成(.*)后也是smarter than ,去官网查看了一下，好像是*？叫懒惰匹配
因为我测试了代码的确是书上结果，但是和后面您说的不一样，是一些其他的原因吗？


i= 6 ----- 123


i= 7 ----- 677


i= 8 ----- wyf的test


i= 9 ----- 4.3节用Selenium打开了网页，但是查看源代码的时候，评论那一块仍然是动态数据，有没有遇到一样问题的小伙伴交流一下啊 QQ424524128


i= 10 ----- 2019.7.31
怎么 找到的这个 真实地址

http://www.santostang.com/2018/07/04/hello-world/

在这里插入图片描述

最后的代码:

import requests
import json


def single_page_comment(link):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    r = requests.get(link, headers=headers)
    # 获取 json 的 string
    json_string = r.text
    json_string = json_string[json_string.find('{'):-2]
    json_data = json.loads(json_string)
    comment_list = json_data['results']['parents']

    for eachone in comment_list:
        message = eachone['content']
        print(message)


for page in range(1, 4):
    link1 = "https://api-zero.livere.com/v1/comments/list?callback=jQuery1124019104109778374867_1566439164308&limit=10&offset="

    link2 = "&repSeq=4272904&requestPath=%2Fv1%2Fcomments%2Flist&consumerSeq=1020&livereSeq=28583&smartloginSeq=5154&_=1566439164314"
    page_str = str(page)
    link = link1 + page_str + link2
    print(link)
    single_page_comment(link)

link1 和 link2 的由来是 通过 Network---- > JS 中 ，在网页中多次点击如下图片 抓取到的。
在这里插入图片描述

wowocpp
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫技术入门到高级第四章
04-06
Python爬虫技术入门到高级【第四章】
Python网络爬虫基础进阶到实战教程
全栈若城,专注知识分享
06-22 5072
本文是一篇关于Python网络爬虫的教程，从基础概念认识网络爬虫开始，介绍了HTML页面的组成和常用的标签属性、样式和JavaScript效果。接着详细讲解了Python中的Requests模块的get请求和实践，以及Post请求的区别和使用示例。然后介绍了Xpath解析和BeautifulSoup库的应用，演示了如何解析HTML和XML文档并提取信息。此外，还介绍了正则表达式的基本用法和在爬虫中的实际应用案例。最后，讲解了字体反爬技术和如何应对，以及Scrapy框架的入门使用。
Python数据爬虫教程（非常详细）从零基础入门到精通，看完这一篇就够了
xx16755498986的博客
08-10 8247
Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。: 负责Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递等。: 它负责接受引擎发送过来的Request请求，并按照一定的 方式进行整理排 列，入队，当引擎需要时，交还给引擎。
Python爬虫从入门到实战（详细步骤）
最新发布
xzz_777c的博客
03-23 1024
对于绝大多数想要学习Python的朋友而言，爬虫绝对是学习Python的最好的骑手和入门方式。我当时选择Python学习，也是瞄准了Python爬虫，因为爬虫思维模式固定，编程模式也相对简单，一般在细节处理上积累一些经验都可以成功。
Python爬虫入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
热门推荐
Python84310366的博客
12-28 1万+
爬虫的全称为网络爬虫，简称爬虫，别名有网络机器人，网络蜘蛛等等。网络爬虫是一种自动获取网页内容的程序，为搜索引擎提供了重要的数据支撑。搜索引擎通过网络爬虫技术，将互联网中丰富的网页信息保存到本地，形成镜像备份。我们熟悉的谷歌、百度本质上也可理解为一种爬虫。如果形象地理解，爬虫就如同一只机器蜘蛛，它的基本操作就是模拟人的行为去各个网站抓取数据或返回数据。
小白如何入门Python爬虫？这是我见过最详细的入门教学
python03011的博客
05-27 106
小白如何入门Python爬虫？这是我见过最详细的入门教学
第三方QQ授权登录
璇子的blog
01-19 3557
1.下载SDK https://wiki.open.qq.com/index.php?title=mobile/SDK下载&oldid=47694 2.导入工程 3.添加framework 4.加入白名单，把demo中info.plist中的LSApplicationQueriesSchemes添加到工程中的info.plist 5.导入头文件进行授权 6.登录 服从代理，...
Python爬虫开发从入门到实战实训指导教程.zip
05-09
第4章 简单的网页爬虫开发 第5章 高性能HTML内容解析 第6章 Python与数据库 第7章 异步加载与请求头 第8章 模拟登录与验证码 第9章 抓包与中间人爬虫 第10章 Android原生App爬虫 第11章 Scrapy 第12章 Scrapy高级...
精品课件 Python从入门到精通 第17章 网络爬虫开发（共16页）.ppt
10-17
Python从入门到精通 第4章 流程控制语句.ppt Python从入门到精通 第5章 列表与元组.ppt Python从入门到精通 第6章 字典与集合.ppt Python从入门到精通 第7章 字符串.ppt Python从入门到精通 第8章 Python中使用正则...
精品课件 Python从入门到精通 第13章 文件及目录操作（共26页）.ppt
10-17
Python从入门到精通 第4章 流程控制语句.ppt Python从入门到精通 第5章 列表与元组.ppt Python从入门到精通 第6章 字典与集合.ppt Python从入门到精通 第7章 字符串.ppt Python从入门到精通 第8章 Python中使用正则...
精品课件 Python从入门到精通 第20章 Web编程（共14页）.pptx
10-17
Python从入门到精通 第4章 流程控制语句.ppt Python从入门到精通 第5章 列表与元组.ppt Python从入门到精通 第6章 字典与集合.ppt Python从入门到精通 第7章 字符串.ppt Python从入门到精通 第8章 Python中使用正则...
获取本机已登陆QQ号
08-02
易语言编写的获取本机已登陆QQ源码。可以获取到本机在线的QQ号。
《Python网络爬虫 从入门到实践》-笔记
keep
01-07 6439
第一章 入门 1.python爬虫的流程 1获取网页 2 解析网页（提取数据）3 存储数据 技术实现： 获取网页：基础： request,urllib,selenium（模拟浏览器）。                                                                                                        ...
【读书笔记】Python网络爬虫从入门到实践（第2版）-唐松，爬虫基础体系巩固和常见场景练习
哥老倌的博客
11-23 682
【概述】 书名：Python网络爬虫从入门到实践（第2版） 作者：唐松 日期：2021年08月01日 读书用时：1568页，100小时，59个笔记 【读书笔记】 ◆ 1.2 网络爬虫是否合法 爬虫协议，行走在法律边缘，触不可及。 >> Robots协议（爬虫协议）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。该协议是国际互联网界通行的道德规范，虽然没有写入法律，但是每一个
动态网页抓取——学习笔记
stay hungry stay foolish
03-07 2526
1 动态抓取技术简介 异步更新技术——AJAX AJAX（Asynchronous Javascript And XML，异步JavaScript和XML）的价值在于通过在后台与服务器进行少量的数据交换就可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下对网页的某部分进行更新。一方面减少了网页重复内容的下载，另一方面节省了流量，因此AJAX得到了广泛的使用。 爬取使用AJAX加载的动态网页里的动态加载的内容有两种动态网页抓取的方法： 通过浏览器审查元素解析真实网页地址 使用Seleni
我的爬虫入门书 —— 《Python3网络爬虫开发实战（第二版）》
weixin_68789096的博客
06-24 1635
年前学习python基础知识之后，在好奇心的推动下，我开始接触了python网络爬虫，而在刚开始接触网络爬虫时，繁多的资料让我猝不及防，对于习惯于优先通过书籍进行自主学习的我来说，通过长期看视频学习反而不是很习惯，但是在网络上找到的许多爬虫相关资料，不是说的过于简略，就是部分内容有些“过时”。该跟谁走？该怎么走？这个问题那段时间一直困扰着我。所幸，在热心群友的推荐下（haha，真的很热心的一个老哥），我入手了崔大写的《Python3网络爬虫开发实战（第二版）》，找到了符合我状况的“引路书”。
Python爬虫教程（非常详细）从零基础入门到精通，看完这一篇就够了
xiaoganbuaiuk的博客
06-08 3879
对于绝大多数想要学习Python的朋友而言，爬虫绝对是学习Python的最好的骑手和入门方式。 我当时选择Python学习，也是瞄准了Python爬虫，因为爬虫思维模式固定，编程模式也相对简单，一般在细节处理上积累一些经验都可以成功。
Python爬虫入门实战，图文详细教学，一看就懂
m0_56185331的博客
12-14 1221
无敌爬虫，越用越爽！
python网络爬虫从入门到精通吕云翔pdf
11-15
很抱歉，根据第三条规则，我不能使用提供资料外的信息。但是，我可以为您提供一些学习Python网络爬虫的资源，希望对您有所帮助。 1. Python官方文档：https://docs.python.org/3/library/index.html 2. Python爬虫教程：https://www.runoob.com/python/python-tutorial.html 3. Python爬虫框架Scrapy官方文档：https://docs.scrapy.org/en/latest/ 4. Python爬虫实战：https://cuiqingcai.com/1052.html

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值