【Python】36氪(36kr)数据抓取 scrapy

最新推荐文章于 2021-02-18 04:27:45 发布
最新推荐文章于 2021-02-18 04:27:45 发布
阅读量462 收藏 1
点赞数
文章标签： Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wcg541/article/details/97140368
版权
本文介绍如何使用Python的Scrapy框架抓取36氪网站的文章数据，包括分析页面数据加载方式、创建Scrapy项目、编写URL生成器、解析数据以及数据保存。在抓取过程中，注意了数据的完整性检查，并对抓取结果进行了简单评估。
摘要由CSDN通过智能技术生成

1. 36氪(36kr)数据----写在前面

今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备

36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。

网址 https://36kr.com/

2. 36氪(36kr)数据----数据分析

36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步的数据，只需要打开开发者工具，就能快速的定位到想要的数据，我们尝试一下！

捕获链接如下

https://36kr.com/api/search-column/mainsite?per_page=20&page=1&_=1543840108547
https://36kr.com/api/search-column/mainsite?per_page=20&page=2&_=1543840108547
https://36kr.com/api/search-column/mainsite?per_page=20&page=3&_=1543840108547
https://36kr.com/api/search-column/mainsite?per_page=20&page=4&_=1543840108547

在多次尝试之后，发现per_page最大可以扩展到300，但是当大于100的数据，返回的数据并不是很理想，所以，我们拟定为100即可，page就是页码，这个不断循环叠加即可。

最低0.47元/天 解锁文章
追梦IT男
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
12-03 1万+
1. 写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备的，预计在12月底，爬虫大概写到50篇案例的时刻，将会迎来一个新的内容，系统的数据分析博文，记得关注哦~ 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/ 2. 数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台...
python正则匹配36氪数据
weixin_55579895的博客
09-22 122
cchardet模块用于查找该网页的编码方式 使用jsonpath模块之前拿到的是list数据，而jsonpath不能处理python数据类型，需要用json.loads转换 from typing import Type import jsonpath import json import requests import re from user_agent import headers # 没有自己的请求头包请注释掉，去网页自己复制 import cchardet class K36(object.
python3 爬取36氪新闻网页
徐代龙的技术专栏
07-29 2600
一个做了反爬的36氪，返回数据恶心，感觉是一堆垃圾。这里只是记录一下爬取过程。 （一）爬取环境 win10 python3 scrapy （二）爬取过程 （1）入口：搜索 （2）动态js数据加载，查看下一页操作： （3）返回数据： （4）请求链接 http://36kr.com/api//search/entity-search?page=4&...
利用python3自动在36kr里查找自己感兴趣的内容
lxy210781的专栏
07-05 526
最近常常在36kr网站的快讯及资讯/最新里查看自己感兴趣内容的及时信息，由于快讯及资讯/最新里信息更新得比较及时快速，自己也很难一直盯着看，故想着要是写个脚本让其自动在后天挂着每隔5分钟查询一次，有的话就写入txt档中并在控制台打印出来，这样自己有空时就看一眼，感觉就会要方便一下，就是玩玩.脚本如下，供参考： #!/user/bin/env python3 #-*- coding:ut...
09-27 python爬取36kr网站文章
weixin_46400833的博客
09-27 408
准备： from lxml import etree import requests #输入页数,得到网址 def wb_url(page_num): for num in range(1, page_num+1): url = ‘https://36kr.com/api/search-column/mainsite?per_page=20&page=’ + str(num) yield url #得到首页json数据 def rejson(url): header = {‘User-Agent’:
下载36氪 播氪的音频
pureszgd的博客
07-26 447
#coding=utf-8 import re,urllib2,os,urllib,requestsdef getHtmlCode(url): response = urllib2.urlopen(url) return response.read()def getEntityId(htmlString): regEntityId = re.compile("\"(.+?)\
Python爬虫入门【18】： 36氪(36kr)数据抓取 scrapy
Python8年程序员教程分享
07-23 880
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/ 2. 36氪(36kr)数据----数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步...
Python爬虫入门教程【18】： 36氪(36kr)数据抓取 scrapy
Python追梦
07-26 900
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/ 2. 36氪(36kr)数据----数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步...
36krCrawler:采集36氪上所有帖子数据的爬虫，可采集后供数据分析的人测试使用
06-21
36krCrawler 采集36氪上所有帖子数据的爬虫，可采集后供数据分析的人测试使用。 运行mainClass即可。 采集的数据会放到data文件，目前有四个字段。 url#title#author#time#content data文件里是采集好的一批数据，供参考使用。
爬虫-36kr-接口分析-191016
pyhui的技术博客
10-16 1274
36kr爬虫 目标网站 首页_36氪 https://36kr.com/ 需求 写出爬取的代码 要爬所有的文章标题与文章url 分析网站 找接口，首页的文章内容在哪里 Request URL: https://36kr.com/ 找接口，第二页 接口直接在链接中 # 获取下一页内容 # 下一页url = 获取下一页内容（第一页HTML） # 思...
02-18 36kr文章爬取-1
weixin_46400833的博客
02-18 492
问题： 1、动态加载的url通用模板如何设置？ 2、如何控制文章发布时间在一年内？ 3、如何实现分类保存？ 初步代码如下： import requests from lxml import etree import time import json url='https://gateway.36kr.com/api/mis/nav/ifm/subNav/flow' headers={ 'User_Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) Appl
02 -02 36kr项目
weixin_46400833的博客
02-02 281
1、 项目内容 1、基于python的数据采集 采集36kr的最近一年的文章，按照分类保存新闻文本； 链接：https://36kr.com/information/web_news/latest 工具：python 注意：数据采集控制并发度不要太高，0.5s采集一遍文章，同时准守robots协议，不允许采集的域名不能采集； https://36kr.com/robots.txt 2、文本聚类 采用k-means算法对采集的文本进行聚类； 参考文档：https://www.cnblogs.com/fe
OCR相关资源
Gavinmiaoc的博客
09-03 617
1.收集并整理有关OCR的数据集
python-关于爬虫爬取36kr数据
Ch_zhenhua的博客
08-24 1424
import json import requests import re class Kr36(object):     def __init__(self):         # 利用首页         self.url = 'https://36kr.com/'         self.headers = {             'User-Agent': 'Mozilla/5....
Python爬虫_爬取36kr
abcdasdff的博客
08-21 1192
Python3.6环境 from lxml import etree import requests #输入页数,得到网址 def wb_url(page_num): for num in range(1, page_num+1): url = 'https://36kr.com/api/search-column/mainsite?per_page=20&...
Win10环境下Python安装Scrapy与数据抓取指南
"本文档详细介绍了在Windows 10操作系统上如何安装Python的Scrapy框架，并利用该框架进行数据抓取。首先，建议使用Anaconda...记得在抓取数据时遵守网站的robots.txt规则和相关法律法规，确保合法合规地进行数据获取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值