发布一个开源的新闻api(整理后就开源)

目录

说明:

基础说明

其他说明:

通用接口:

登录:

注册:

更改密码(需要token)

更换头像(需要token)

获取用户列表(需要token):

上传文件(5000端口):

获取文件(5000端口)源码文件,db文件均不能获取:

验证token(需要token):

获取系统时间:

文件接口(需要用前面获取文件的接口访问):

公告:

App介绍:

视频类新闻和文章类新闻的个数(扇形图表分析):

视频类前十文章的总得分、阅读量、点赞量、评论量数据(柱状图表分析):

一周内文章总数趋势数据(折线图表分析):

新版apk地址:

新闻类接口:

新闻列表:

点赞新闻(需要token):

取消点赞新闻(需要token):

发布新闻(需要token):

获取新闻分类下所有新闻:

关键字搜索新闻:

获取热门新闻:

获取轮播图:

获取用户发布的列表(需要token):

获取随机视频:

获取用户点赞的列表(需要token):

API运行和postman测试图:

​编辑 

关于开源:将在源码全部整理结束后开源,大家可以前往222.187.232.63:39999体验demo版本

点名表扬


说明:

首先先放出基于api写的app

 

 

基础说明

*部分接口需要token,即头里加入Authorization字段,token通过登录json获取

Demo api地址: 222.187.232.63:39999

Demo 文件管理地址: 222.187.232.63:5000

例如获取新闻轮播图:http://222.187.232.63:39999/news/banner

其他说明:

代码量前后端合计约6k行,较轻量

Token加入:Head里加入Authorization参数

响应参数likearray返回的是一个类似数组的字符串。需要获取后手动用split()函数去切割

由于部分数据来自网络,部分数据来自本地,本地路径考虑可移植性,没有写入完整路径,需要手动判定图片是否带有http://或https://

开发者说明:

此app前后端完全开源,前端采用java android编写,后端使用python,代码量约5k,较轻量
默认api地址为:127.0.0.1+端口号39999,文件访问地址:127.0.0.1+端口号5000
可以通过/libs/Service_Utils.py进行修改ip地址和api端口号
后端通过python编写,使用httpserver + Flask框架(主要处理文件)处理http请求
使用jwt进行动态授权token,需要获取用户,例如点赞、评论均需要传token获取用户
大部分数据存入sqlite数据库,部分数据例如公告以文件方式存储,便于修改
python打包数据可能是数据传输问题,有时候会少掉一个},可以通过此段代码解决这个问题
public static String verjson(String jsontext) {
        try {
            JSONObject jsonObject=new JSONObject(jsontext);
            return jsontext;
        } catch (JSONException e) {
            return jsontext +"}";
        }
    }

后端逻辑我懒得改了修改密码,只要传入token就可以修改,需要前端写验证(其实也不用,因为一般只有登录才能拿到token)



接下来是api文档:

通用接口:

登录:

接口名:/login

请求方式:post

参数:

        username:用户名

        password:密码


注册:

接口名:/Reg

请求方式:post

参数:

        username:用户名

        password:密码

        avater:头像


更改密码(需要token)

接口名:/update_password

请求方式:post    

参数:

        password:密码


更换头像(需要token)

接口名:/update_avatar

请求方式:post    

参数:

        avater:头像


获取用户列表(需要token):

接口名:/personlist

请求方式:post    


上传文件(5000端口):

接口名:/upload

请求方式:post

参数:

        file:文件


获取文件(5000端口)源码文件,db文件均不能获取:

接口名:/路径名

请求方式:get


验证token(需要token):

接口名:/vertoken

请求方式:get


      

获取系统时间:

接口名:/gettime

请求方式:get


文件接口(需要用前面获取文件的接口访问):

公告:

接口名:/profile/notfication

请求方式:get


App介绍:

接口名:/profile/instructio

请求方式:get


视频类新闻和文章类新闻的个数(扇形图表分析):

接口名:/profile/percent

请求方式:get


视频类前十文章的总得分、阅读量、点赞量、评论量数据(柱状图表分析):

接口名:/profile/percent

请求方式:get


一周内文章总数趋势数据(折线图表分析):

接口名:/profile/trend

请求方式:get


新版apk地址:

接口名:/docs/newsapp.apk

请求方式:get


新闻类接口:

新闻列表:

接口名:/news/list

请求方式:get

参数(默认20一页):

        pagenum:从哪页开始

        pagenum:显示大小


点赞新闻(需要token):

接口名:/news/like

请求方式:get

参数(默认20一页):

        Id:新闻的id


取消点赞新闻(需要token):

接口名:/news/unlike

请求方式:get

参数(默认20一页):

        Id:新闻的id


发布新闻(需要token):

接口名:/news/create

请求方式:post

参数(如果要传视频type写视频,content写地址):

        title:标题

        content:正文

        type:类型

        cover:图像


获取新闻分类下所有新闻:

接口名:news/type=值

请求方式:get


关键字搜索新闻:

接口名:news/search=值

请求方式:get


获取热门新闻:

接口名:news/hot

请求方式:get


获取轮播图:

接口名:news/banner

请求方式:get


获取用户发布的列表(需要token):

接口名:news/pushlist

请求方式:get


获取随机视频:

接口名:/randomvideo

请求方式:get


获取用户点赞的列表(需要token):

接口名:news/likelist

请求方式:get


获取评论:

接口名:news/likelist

请求方式:get

参数:

        Id:视频/新闻的id号


API运行和postman测试图:

        

 

关于开源:将在源码全部整理结束后开源,大家可以前往222.187.232.63:39999体验demo版本


点名表扬

感谢以下搬运工帮我宣传文章

 http://element-ui.cn/article/show-1494297.aspx

https://www.ngui.cc/article/show-1153128.html

https://www.lmlphp.com/user/629051

https://www.ppmy.cn/news/628760.html

https://www.lmlphp.com/user/629939/article

防盗:

本文由福州职业技术学校 软件技术 温辉  qq:2151335401,3135144152编写

欢迎搬运,请复制上一行

  • 6
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
### 回答1: 开源大数据ETL(Extract-Transform-Load)开发流程是将各种源数据从不同的数据源(如数据库、文件等)中提取出来,经过转换和加工后加载到目标数据仓库或数据湖中的过程。以下是开源大数据ETL开发流程的简要介绍: 1. 数据需求分析:根据业务需求,确定需要提取、转换和加载的数据,分析其结构和特征。 2. 数据源准备:选择适当的数据源,并进行连接、授权等相关设置,以保证能够提取所需的数据。 3. 数据提取:使用相应的开源大数据ETL工具(如Apache Nifi、Talend等),从数据源中提取所需数据,并将其暂存到缓冲区中。 4. 数据清洗和转换:对提取的数据进行清洗和转换,包括数据格式转换、去除重复记录、填充缺失值、数据标准化等。 5. 数据加载:将清洗和转换后的数据加载到目标数据仓库或数据湖中,保证数据的完整性和一致性。 6. 错误处理和监控:在数据处理过程中,监控和处理可能出现的错误,如数据源连接失败、错误数据处理等,保证数据流的稳定和正确。 7. 数据验证和测试:对加载到目标数据仓库或数据湖中的数据进行验证和测试,确保数据的准确性和完整性。 8. 调度和自动化:设置自动化调度,定期执行ETL流程,确保数据的及时更新和同步。 9. 日志记录和性能优化:记录ETL流程的日志,并进行性能优化,如调整数据提取的并发数、增加缓存大小等,以提高ETL过程的效率和稳定性。 综上所述,开源大数据ETL开发流程包括数据需求分析、数据源准备、数据提取、数据清洗和转换、数据加载、错误处理和监控、数据验证和测试、调度和自动化、日志记录和性能优化等步骤,通过这些步骤,我们可以实现对各种数据进行ETL处理,以满足业务需求。 ### 回答2: 开源大数据ETL(Extract-Transform-Load)开发流程是指在使用开源技术和工具进行大数据处理的过程中,从数据抽取到转换再到加载的一系列操作流程。具体包括以下几个阶段: 1. 数据抽取(Extract):从源系统中获取数据,可以通过不同的方式进行数据抽取,包括批量导入、实时抓取、API接口等。在这个阶段,需要考虑数据的来源、数据格式、数据量和抽取策略等。 2. 数据转换(Transform):将抽取的数据进行清洗、整理、加工和转换操作,以适应目标系统的需求。数据转换可以包括数据过滤、字段映射、数据合并等操作,可以使用开源的大数据处理框架(如Apache Spark、Apache Flink)进行数据转换。 3. 数据加载(Load):将转换后的数据加载到目标系统中,目标系统可以是数据仓库、数据湖或者其他数据存储设施。数据加载可以使用开源的分布式存储系统(如Apache Hadoop、Apache HBase)进行存储和管理。 在开源大数据ETL开发流程中,还需要考虑以下几个方面: 1. 算法和模型选择:根据实际需求选择合适的算法和模型,以实现数据的清洗、转换和加载。 2. 数据质量控制:确保抽取的数据质量,进行数据质量检测和修复,以保证后续数据处理的准确性。 3. 任务调度和监控:建立定时调度机制,监控整个ETL流程的运行情况,及时发现和解决问题。 4. 数据安全和权限管理:对ETL过程中涉及的数据进行权限控制,保障数据的安全性。 总结起来,开源大数据ETL开发流程主要包括数据抽取、数据转换和数据加载三个阶段,同时需要考虑算法和模型选择、数据质量控制、任务调度和监控、数据安全和权限管理等方面。通过合理设计和实施ETL流程,可以从海量的原始数据中提取出有用的信息,为业务决策和数据分析提供支持。 ### 回答3: 开源大数据ETL(Extract-Transform-Load)开发流程是指使用开源工具和技术进行大数据ETL任务的开发过程。下面是一个典型的开源大数据ETL开发流程: 1. 分析需求:首先,需要明确ETL任务的需求和目标。确定要处理的数据类型、数据源和目标数据仓库等信息。 2. 数据抽取:使用开源工具(例如Apache Nifi、Apache Flume)从源系统中提取数据,并将数据存储到临时位置或数据湖中。 3. 数据清洗和转换:对抽取得到的数据进行清洗和转换,以适合目标系统或数据需求。可以使用开源工具(例如Apache Spark、Apache Pig)进行数据清洗、过滤、去重、格式转换等操作。 4. 数据加载:将清洗和转换后的数据加载到目标系统或数据仓库中。可以使用开源工具(例如Apache Hive、Apache HBase)进行数据加载操作。 5. 数据质量和验证:对加载到目标系统的数据进行质量检查和验证,确保数据的准确性和完整性。可以使用开源工具(例如Apache Kylin、Apache Atlas)进行数据质量检查和元数据管理。 6. 调度和监控:设置ETL任务的调度计划,确保任务的自动执行。可以使用开源工具(例如Apache Oozie、Apache Airflow)进行任务调度和监控,同时可以使用开源工具(例如Apache Zeppelin、Grafana)对任务执行情况进行活动监控和可视化展示。 7. 故障处理和优化:在ETL任务运行过程中,可能会出现故障或性能问题。需要对任务进行故障处理和优化。可以使用开源工具(例如Apache Kafka、Apache ZooKeeper)进行故障处理和性能优化。 8. 文档和分享:最后,需要编写ETL任务的文档,包括任务架构、代码、配置等信息,并与团队成员分享经验和经验教训。 以上是开源大数据ETL开发流程的基本步骤。根据具体的需求和技术栈,可能会有所不同。开源工具的选择和配置也会因具体情况而有所差异。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

温辉wh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值