python3 爬取36氪新闻网页

最新推荐文章于 2024-08-03 15:58:00 发布
最新推荐文章于 2024-08-03 15:58:00 发布
阅读量2.6k 收藏 3
点赞数
分类专栏： # python3高级爬虫实战 文章标签： python爬取36kr 36氪新闻 scrapy爬取36氪
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xudailong_blog/article/details/81271675
版权
本文记录了在Windows 10环境下，使用Python3和Scrapy框架爬取36氪新闻网页的过程。尽管36氪网站存在反爬机制，返回的数据结构复杂，但通过分析动态JS加载、请求链接中的参数，尤其是识别必要的entity_type=post和page参数，成功实现了从搜索入口抓取新闻列表，包括标题、作者、日期、简要、标签和内容等信息。正则表达式被用来解析并转换数据为JSON格式，以便更方便地提取所需字段。
摘要由CSDN通过智能技术生成

一个做了反爬的36氪，返回数据恶心，感觉是一堆垃圾。这里只是记录一下爬取过程。

（一）爬取环境
  • win10
  • python3
  • scrapy
（二）爬取过程

（1）入口：搜索

image.png

（2）动态js数据加载，查看下一页操作：

image.png

（3）返回数据：

image.png

（4）请求链接


http://36kr.com/api//search/entity-search?page=4&per_page=40&keyword=机器人&entity_type=post&ts=1532794031142&_=1532848230039

分析：这里的ts及后面的都为时间戳格式，可不要，entity_type=post这个是必须要的，可变参数为page

（4）列表页的json数据，id为详情页链接所需标志

image.png

image.png

最低0.47元/天 解锁文章
xudailong_blog
关注
专栏目录
python-关于爬虫爬取36kr数据
Ch_zhenhua的博客
08-24 1431
import json import requests import re class Kr36(object):     def __init__(self):         # 利用首页         self.url = 'https://36kr.com/'         self.headers = {             'User-Agent': 'Mozilla/5....
python3爬虫爬新闻
10-24
pyhton3.6爬取凤凰网新闻，输出txt。后续语料处理，BSBI算法实现索引程序，中文语料处理，择日再传^_^
python爬取新浪新闻存储到excel
ZCC的专栏
07-30 2375
一、运行环境 (1) BeautifulSoup的导入：pip install BeautifulSoup4 (2) requests的导入：pip install requests (3) re的导入：pip install re (4) pandas的导入：pip install pandas 二、完整代码    # 获取新闻的标题，内容，时间和评论数 im
【Python】爬取网易新闻今日热点列表数据并导出
最新发布
明静致远
08-03 1362
免责声明：文章仅供学习使用！
[Python爬虫] 之二十一：Selenium +phantomjs 利用 pyquery抓取36氪网站数据
weixin_33895016的博客
06-22 212
  　　一、介绍 　　　　本例子用Selenium +phantomjs爬取36氪网站（http://36kr.com/search/articles/电视?page=1）的资讯信息，输入给定关键字抓取资讯信息。 　　　　给定关键字：数字；融合；电视 　　　　抓取信息内如下： 　　　　　　1、资讯标题 　　　　　　2、资讯链接 　　　　　　3、资讯时间 　　　　　　4、资讯来源 ...
python爬取指定新闻
weixin_30765475的博客
04-03 600
作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 　　标题、作者、发布单位、审核、来源 　　发布时间:转换成datetime类型 　　点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format...
python3.x 爬取新浪新闻-国内新闻的时间，标题，详细内容链接
06-15
python3.x 爬取新浪新闻-国内新闻的时间，标题，详细内容链接
Python如何爬取微信公众号文章和评论(基于 Fiddler 抓包分析)
01-20
背景说明 感觉微信公众号算得是比较难爬的平台之一，不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制)，但后面会开始整理写一些实战出来。...平时关注的公众号也比较多，本次实战以“36氪
使用selenium爬取36氪
Talltle的博客
10-20 507
代码 代码分析 （图片在最下面） from selenium import webdriver chrome_driver=r"C:\Users\yandi\AppData\Local\Programs\Python\Python37-32\chromedriver.exe" driver=webdriver.Chrome(executable_path=chrome_driver) driver.get('https://36kr.com/') #获取资讯栏 driver.find_element_.
09-27 python爬取36kr网站文章
weixin_46400833的博客
09-27 413
准备： from lxml import etree import requests #输入页数,得到网址 def wb_url(page_num): for num in range(1, page_num+1): url = ‘https://36kr.com/api/search-column/mainsite?per_page=20&page=’ + str(num) yield url #得到首页json数据 def rejson(url): header = {‘User-Agent’:
python实战之百度新闻爬取.md
01-17
通过对百度新闻标题、链接、日期及来源的爬取，了解使用python语言爬取少量数据的基本方法，让网友老爷们得到真正的免费技术，扩充代码方面的知识。
网络爬虫 Python爬虫 可爬取贴吧新闻等
05-06
基于Python网络爬虫的设计，可以爬取360新闻，百度贴吧等，百分百可用
Python爬取十篇新闻统计TF-IDF
09-20
主要为大家详细介绍了Python爬取十篇新闻统计TF-IDF的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
PYTHON3爬取某网站的新闻程序
12-06
PYTHON3爬取某网站的新闻程序,PYTHON这方面的功能确实强大。
36krCrawler:采集36氪上所有帖子数据的爬虫，可采集后供数据分析的人测试使用
06-21
36krCrawler 采集36氪上所有帖子数据的爬虫，可采集后供数据分析的人测试使用。 运行mainClass即可。 采集的数据会放到data文件，目前有四个字段。 url#title#author#time#content data文件里是采集好的一批数据，供参考使用。
Python爬取中国网新闻
m0_59236127的博客
02-23 1734
观察网页导入相关库请求数据解析数据保存excel文件观察网页导入相关库对子网页的内容进行爬取并保存成word：以一个子网页为例1、请求数据2、解析数据并存储word循环爬取多个子网页的内容并保存成word一、制作新闻的Excel索引。
Python爬取新闻网数据
m0_61331237的博客
04-30 836
page_data = get_html(li).content.decode(‘utf-8’, ‘ignore’) # 新闻详情页 response.text。html_data = get_html(url).text # 获得接口数据response.text。lis = get_page_url(html_data) # 获得新闻url地址列表。:param html_url: 网页url地址。:param url: 新闻列表页 url地址。:return: 每篇新闻的url地址。
python爬取新闻并汇总_【python】 爬虫-爬取新闻
weixin_39818662的博客
12-15 3857
最近，在数据挖掘课，要交课设了，打算做一个通过机器学习进行新闻分类，首先要有大量的文本(新闻)，去做训练，并通过爬虫爬取大量的新闻一，思路如下：0.首先确定获取数据的网站1.通过BeautifulSoup来切取链接2. 然后使用python的第三方框架newspaper3k，直接通过给指定的链接，然后返回新闻文本(当然也可通过BeautifulSoup切出文本)二，过程如下：1.选定网址 新浪...
使用Xpath爬取36氪动态页面并保存到Excel
本示例演示了如何使用Python的requests、lxml和pandas库，通过XPath解析动态网页，抓取某氪网站上的新闻标题和链接，并将数据保存到Excel文件中。 首先，我们导入所需的库：requests用于发送HTTP请求，lxml库中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值