爬取2019年央视新闻APP

最新推荐文章于 2024-08-22 14:43:56 发布

Hsiang-ya

最新推荐文章于 2024-08-22 14:43:56 发布

阅读量902

点赞数 1

本文链接：https://blog.csdn.net/Hsiangya/article/details/106108161

版权

爬取2019年央视新闻APP新闻数据

```python
#`import csv
import datetime

import requests
import parsel
import os

#

 GET /api/rest/articleInfo/getScrollList?n=20&version=1&p=4&pubDate=1546243446000&app_version=804
api_url: str = 'http://api.cportal.cctv.com/api/rest/articleInfo/getScrollList'

headers: dict = {
   
    'User-Agent': 'V1916A',
    'Host': 'api.cportal.cctv.com',  # 服务器地址
    'Connection': 'Keep-Alive'
}


# 构造时间列表
def time_chain() -> list:
    """获取时间戳"""
    time_chain_list = []
    # tup_time=time.lcaltime(1546243446)
    # stadard_time=time.strftime('%Y-%m-%d %H:%M:%s',tup_time)
    # print(stadard_time)
    start_date = datetime.date(2018, 12, 31)
    start_time = datetime.time(13, 54, 36)
    datetime_now =