系统对接，抽取数据接口设计

最新推荐文章于 2021-12-26 20:57:12 发布
最新推荐文章于 2021-12-26 20:57:12 发布
阅读量322 收藏
点赞数
分类专栏： java 文章标签： json java 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaomin1991222/article/details/84681661
版权 
CREATE TABLE extract_task_temp
(
  id integer NOT NULL DEFAULT nextval('extract_task_temp_731_id_seq'::regclass),
  task_init_time timestamp with time zone, -- 初始化抽取任务时间
  task_current_time timestamp with time zone, -- 当前任务抽取时间
  task_next_time timestamp with time zone, -- 下一次任务抽取时间
  create_time timestamp with time zone DEFAULT now(),
  update_time timestamp with time zone, -- 修改时间
  task_type integer, -- 任务类型1：文章，2回复
  website_id integer, -- 站点类型id
  start_size integer, -- 分页起始大小
  limit_size integer, -- 分次取多少条数据
  cid integer, -- 客户id
  authors text, -- 作者昵称
  interval_time integer -- 间隔时间单位（分钟）
)

   

package com.cyyun.mobile.tools;

import java.util.ArrayList;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Set;

import javax.annotation.Resource;

import org.apache.commons.collections.CollectionUtils;
import org.apache.commons.lang3.StringUtils;
import org.apache.commons.lang3.time.DateUtils;
import org.apache.log4j.Logger;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;

import com.cyyun.mobile.dao.ICommentAccountTempDao;
import com.cyyun.mobile.dao.IExtractTaskTempDao;
import com.cyyun.mobile.pojo.CommentAccountTemp;
import com.cyyun.mobile.pojo.ExtractTaskTemp;
import com.cyyun.mobile.service.ExtractTaskTempService;
import com.cyyun.mobile.tools.httpconnection.HttpUrlConnection;
import com.cyyun.mobile.tools.json.JsonEntity;
import com.cyyun.mobile.tools.json.JsonEntityArray;
import com.twmacinta.util.MD5;

/**
 * 抽取数据任务
 * 
 * @author zhangzm
 * 
 */
@Component
public class ExtractTask {

	static Logger log = Logger.getLogger(ExtractTask.class);
	@Resource
	IExtractTaskTempDao iExtractTaskTempDao;

	@Resource
	ICommentAccountTempDao iCommentAccountTempDao;

	@Resource
	ExtractTaskTempService extractTaskTempService;

	/**
	 * 获取任务对象
	 * 
	 * @return
	 */
	public List<ExtractTaskTemp> getExtractTaskTemp() {
		List<ExtractTaskTemp> extractTaskTemps = null;
		try {
			extractTaskTemps = extractTaskTempService
					.queryExtractTaskTemp(null);
		} catch (Exception e) {
			log.error(e.getMessage(), e);
		}
		return extractTaskTemps;
	}

	@Scheduled(cron = "0 0/1 * * * ?")
	public void execute() {
		List<ExtractTaskTemp> extractTaskTemps = getExtractTaskTemp();
		if (CollectionUtils.isEmpty(extractTaskTemps)) {
			log.warn("extractTaskTemps isEmpty");
			return;
		}
		for (ExtractTaskTemp e : extractTaskTemps) {
			if (null != e) {
				if ("1".equals(String.valueOf(e.getTaskType()))) {
					createTask(e);
				} else {
					createReplyTask(e);
				}
			}
		}
	}

	/**
	 * 获取回复数
	 * 
	 * @param bean
	 */
	public void createReplyTask(ExtractTaskTemp bean) {
		if (bean == null) {
			log.warn("SpidTaskSynBean is null ");
			return;
		}

		if (null == bean.getTaskType()) {
			log.warn("ExtractTaskTemp getTaskType is null ");
			return;
		}

		initTask(bean);

		HttpUrlConnection connection = new HttpUrlConnection();
		Map<String, String> dataMap = new HashMap<String, String>();
		String url = Constant.GET_ARTICLE_REPLY_URL;
		dataMap.put("order", "rid");
		dataMap.put("desc", "asc");
		dataMap.put("cid", String.valueOf(bean.getCid()));
		dataMap.put("limit", String.valueOf(bean.getLimitSize()));
		dataMap.put("fid", String.valueOf(bean.getWebsiteId()));
		dataMap.put("authors", bean.getAuthors());
		dataMap.put("from", String.valueOf(bean.getTaskCurrentTime().getTime()));
		dataMap.put("to", String.valueOf(bean.getTaskNextTime().getTime()));

		StringBuilder logBuilder = new StringBuilder();
		logBuilder.append("开始时间为：").append(bean.getCreateTime())
				.append("结束时间为：").append(bean.getTaskNextTime())
				.append(" url :" + url).append(" dataMap :" + dataMap);
		log.info(logBuilder.toString());

		String response = null;
		try {
			response = connection.readData(dataMap, url);
		} catch (Exception e) {
			log.error(e.getMessage(), e);
			return;
		}
		if ("[]".equals(response)) {
			bean.setAuthors(null);
			bean.setStartSize(0);
			extractTaskTempService.updateExtractTaskTemp(bean);
			log.warn("get response is null " + url + " " + dataMap);
			return;
		}

		JsonEntityArray array = new JsonEntityArray(response);
		List<Map<String, Object>> addArticleBeans = new ArrayList<Map<String, Object>>();
		if (array != null && array.size() > 0) {
			for (int i = 0; i < array.size(); i++) {
				JsonEntity jsonE = array.getJsonEntity(i);
				String rid = jsonE.getString("rid");
				Map<String, Object> map = new HashMap<String, Object>();
				map.put("rid", Integer.valueOf(rid));
				addArticleBeans.add(map);
			}
			try {
				bean.setStartSize(bean.getStartSize() + addArticleBeans.size());
				extractTaskTempService
						.updateExtractTaskTempAndArticleReplyTemp(bean,
								addArticleBeans);
			} catch (Exception e) {
				log.error(e);
			}
		}

	}

	public String getCommentAccountTempName(
			List<CommentAccountTemp> accountTemps) {
		StringBuilder builder = new StringBuilder();
		try {
			if (CollectionUtils.isNotEmpty(accountTemps)) {
				for (CommentAccountTemp c : accountTemps) {
					if (c != null) {
						String name = c.getCommentNickname();
						builder.append(name).append(",");
					}
				}
			}

		} catch (Exception e) {
			log.error(e);
		}
		String s = builder.toString();
		if (s.endsWith(",")) {
			s = s.substring(0, s.length() - 1);
		}
		return s;

	}

	/**
	 * 初始化任务，设置 开始时间，结束时间，以及账号表中的任务起始时间。（每一次任务表中的结束时间=账号表中的开始时间） 在账号表中的时间会
	 * 出现的时间范围是 初始化时间+时间间隔*次数
	 * 
	 * @param bean
	 */
	public void initTask(ExtractTaskTemp bean) {

		if (StringUtils.isNotBlank(bean.getAuthors())) {
			return;
		}

		Map<String, Object> map = new HashMap<String, Object>();
		map.put("websiteId", bean.getWebsiteId());
		map.put("deleteFlag", 1);
		map.put("taskTime", bean.getTaskInitTime());
		List<CommentAccountTemp> accountTemps = null;
		try {
			accountTemps = extractTaskTempService.queryCommentAccountTemp(map);
		} catch (Exception e) {
			log.error(e);
		}
		if (CollectionUtils.isEmpty(accountTemps)) {
			map.clear();
			map.put("websiteId", bean.getWebsiteId());
			map.put("deleteFlag", 1);
			map.put("taskTime", bean.getTaskNextTime());
			try {
				accountTemps = extractTaskTempService
						.queryCommentAccountTemp(map);
				bean.setStartSize(0);// 起始页
				bean.setTaskCurrentTime(bean.getTaskNextTime());// 当前处理时间
				Date taskNextTime = DateUtils.addMinutes(
						bean.getTaskNextTime(), bean.getIntervalTime());
				bean.setTaskNextTime(taskNextTime);// 下次处理时间

			} catch (Exception e) {
				log.error(e);
			}
		} else {
			bean.setStartSize(0);// 起始页
			bean.setTaskCurrentTime(bean.getTaskInitTime());// 当前处理时间
			Date taskNextTime = DateUtils.addMinutes(bean.getTaskInitTime(),
					bean.getIntervalTime());
			bean.setTaskNextTime(taskNextTime);// 下次处理时间
		}
		try {
			bean.setAuthors(getCommentAccountTempName(accountTemps));// 设置作者
			extractTaskTempService.updateExtractTaskTempAndCommentAccountTemp(
					bean, accountTemps);
		} catch (Exception e) {
			log.error(e);
		}

	}

	/**
	 * 抽取文章数据
	 * 
	 * @param bean
	 */
	public void createTask(ExtractTaskTemp bean) {

		if (bean == null) {
			log.warn("SpidTaskSynBean is null ");
			return;
		}

		if (null == bean.getTaskType()) {
			log.warn("ExtractTaskTemp getSysTypeId is null ");
			return;
		}
		initTask(bean);

		while (true) {
			HttpUrlConnection connection = new HttpUrlConnection();
			Map<String, String> dataMap = new HashMap<String, String>();
			String url = Constant.GET_ARTICLE_URL;
			dataMap.put("action", "full");
			dataMap.put("sort", "6");
			dataMap.put("order", "1");
			dataMap.put("start", String.valueOf(bean.getStartSize()));
			dataMap.put("cid", String.valueOf(bean.getCid()));
			dataMap.put("limit", String.valueOf(bean.getLimitSize()));
			dataMap.put("fid", String.valueOf(bean.getWebsiteId()));
			dataMap.put("authors", bean.getAuthors());
			dataMap.put("from",
					String.valueOf(bean.getTaskCurrentTime().getTime()));
			dataMap.put("to", String.valueOf(bean.getTaskNextTime().getTime()));

			StringBuilder logBuilder = new StringBuilder();
			logBuilder.append("开始时间为：").append(bean.getCreateTime())
					.append("结束时间为：").append(bean.getTaskNextTime())
					.append(" url :" + url).append(" dataMap :" + dataMap);
			log.info(logBuilder.toString());

			String response = null;
			try {
				response = connection.readData(dataMap, url);
			} catch (Exception e) {
				log.error(e.getMessage(), e);
				return;
			}

			JsonEntity jsonEntity = new JsonEntity(response);
			int result = Integer.valueOf(jsonEntity.getString("count"));
			if (result == 0) {
				log.error("抽取文件数据为0条  ");
				bean.setAuthors(null);
				bean.setStartSize(0);
				extractTaskTempService.updateExtractTaskTemp(bean);
				return;
			} else {
				JsonEntityArray array = jsonEntity.getJsonEntityArray("items");
				List<Map<String, Object>> addArticleBeans = new ArrayList<Map<String, Object>>();
				if (array != null && array.size() > 0) {
					for (int i = 0; i < array.size(); i++) {
						JsonEntity jsonE = array.getJsonEntity(i);
						String aid = jsonE.getString("aid");
						Map<String, Object> map = new HashMap<String, Object>();
						map.put("aid", Integer.valueOf(aid));
						addArticleBeans.add(map);
					}
				}

				try {
					bean.setStartSize(bean.getStartSize()
							+ addArticleBeans.size());
					extractTaskTempService.updateExtractTaskTempAndArticleTemp(
							bean, addArticleBeans);
				} catch (Exception e) {
					log.error(e);
				}

			}
		}
	}

	public void getArticleByGuid(Set<String> guids) {
		if (CollectionUtils.isNotEmpty(guids)) {
			for (String guid : guids) {
				getArticleByGuid(Constant.CID, guid);
			}
		}
	}

	/**
	 * 抽取文章数据
	 * 
	 * @param bean
	 */
	public void getArticleByGuid(String cid, String guid) {
		if (StringUtils.isBlank(cid)) {
			log.warn("cid is null ");
			return;
		}

		if (StringUtils.isBlank(guid)) {
			log.warn("cid is null ");
			return;
		}
		HttpUrlConnection connection = new HttpUrlConnection();
		Map<String, String> dataMap = new HashMap<String, String>();
		String url = Constant.GET_ARTICLE_URL;
		dataMap.put("cid", cid);
		dataMap.put("guid", guid);

		String response = null;
		try {
			response = connection.readData(dataMap, url);
		} catch (Exception e) {
			log.error(e.getMessage(), e);
			return;
		}
		// 解析json
		JsonEntity jsonEntity = new JsonEntity(response);
		int result = Integer.valueOf(jsonEntity.getString("count"));
		if (result == 0) {
			log.error("获取0条数据");
		} else {

		}
	}

	/**
	 * 抽取文章数据
	 * 
	 * @param bean
	 */
	public static void testGetArticleByGuid(String cid, String guid) {
		if (StringUtils.isBlank(cid)) {
			log.warn("cid is null ");
			return;
		}

		if (StringUtils.isBlank(guid)) {
			log.warn("cid is null ");
			return;
		}
		HttpUrlConnection connection = new HttpUrlConnection();
		Map<String, String> dataMap = new HashMap<String, String>();
		dataMap.put("cid", cid);
		dataMap.put("guid", guid);

		String response = null;
		try {
			response = connection.readData(dataMap, url);
		} catch (Exception e) {
			log.error(e.getMessage(), e);
			return;
		}
		// 解析json
		JsonEntity jsonEntity = new JsonEntity(response);
		int result = Integer.valueOf(jsonEntity.getString("count"));
		if (result == 0) {
			log.error("获取0条数据");
		} else {

		}
	}

	/**
	 * 获取文章内容
	 * 
	 * @param aid
	 * @return
	 */
	public String getArticleContent(Long aid) {
		HttpUrlConnection connection = new HttpUrlConnection();
		Map<String, String> dataMap = new HashMap<String, String>();
		String url = Constant.GET_ARTICLE_CONTENT_URL;
		dataMap.put("aid", String.valueOf(aid));
		String response = null;
		try {
			response = connection.readData(dataMap, url);
		} catch (Exception e) {
			log.error(e.getMessage(), e);
			return null;
		}
		if (StringUtils.isNotBlank(response)) {
			// 解析json
			JsonEntity jsonEntity = new JsonEntity(response);
			return jsonEntity.getString("content");
		}
		return null;
	}

	public static void testSpidArticle() {
		HttpUrlConnection connection = new HttpUrlConnection();
		Map<String, String> dataMap = new HashMap<String, String>();

		dataMap.put("start", "0");
		dataMap.put("cid", "731");
		dataMap.put("limit", "5");
		dataMap.put("action", "full");
		dataMap.put("sort", "6");
		dataMap.put("order", "1");
		dataMap.put("author", "品味咖啡");

		dataMap.clear();
		String response = connection.readData(dataMap, url);

		JsonEntity jsonEntity = new JsonEntity(response);
		JsonEntityArray array = jsonEntity.getJsonEntityArray("items");
	}

	public static void testArticleReply() {
		HttpUrlConnection connection = new HttpUrlConnection();
		Map<String, String> dataMap = new HashMap<String, String>();
		dataMap.put("start", "0");
		dataMap.put("cid", Constant.CID);
		dataMap.put("limit", "10");
		dataMap.put("author", "最爱看九爷");
		String response = connection.readData(dataMap, url);
		// JsonEntity jsonEntity = new JsonEntity(response);
		JsonEntityArray array = new JsonEntityArray(response);
		// 采集完成
		// JsonEntityArray array = jsonEntity.getJsonEntityArray("items");
	}

	public static String getMD5Url(String url) {
		if (StringUtils.isBlank(url)) {
			return url;
		}
		try {
			MD5 md5 = new MD5();
			md5.Update(url);
			return md5.asHex();
		} catch (Exception e) {
			log.error("md5 加密异常", e);
		}
		return null;
	}

	public static void main(String[] args) {

	}

}

 

 

 

 

  最好把传输数据接口的参数都配置到数据库中，

  每次任务记录好当前任务的参数参数，当宕机或者重启的时候，有利于保存当前的查询参数，有利于下一次 的查询

xiaomin_____
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
fast md5 java_fast-md5-2.7.1 这是一个用Java编写的MD5算法的快速实现 - 下载 - 搜珍网...
weixin_42312523的博客
02-17 649
fast-md5/fast-md5/build/fast-md5/build/com/fast-md5/build/com/twmacinta/fast-md5/build/com/twmacinta/io/fast-md5/build/com/twmacinta/util/fast-md5/build/com/twmacinta/util/test/fast-md5/javadoc/fast-m...
数据对接中的安全性保证及接口设计
数据的启示
09-14 7298
主要分为三个方面： 1. 数据传输加密 目前普遍采用SSL协议中相关算法进行传输层的加密，通常是对称的摘要算法（配合证书通过https进行数据对接），或者使用VPN（IPSEC VPN、SSL VPN、MPLS VPN）进行传输甚至专用电路MSTP。 2. 身份认证 目前普遍采用数字证书技术进行身份认证，数字证书具体又可以分为第三方证书和自签名的证书。认证方法又可以分为单向认证和双
java文件上传判重姿势浅谈
热门推荐
夜郎King的博客
02-17 4万+
一、场景：文件上传，用户极有可能上传重复文件，内容完全一致。如果对上传的文件未做任何处理，对于文件存储系统来说将是灾难，大量重复的数据，如果允许上传大文件，那么对于存储资源将是巨大的浪费。对于重复的文件，只需要复制相应的访问地址即可，源文件可无需上传，既减轻了网络带宽压力，也减少了存储容量的压力。 二、应对： 1、通过文件名判重。非特殊情况下，不会采用这种方案，理由跟人同名一样，文件名很容易重复，随着用户上升，概率会变大。采用此方案极易导致不能达到判重的目的。 2、读取文件头加部分内容。这种方案可以解
大文件分片上传
weixin_35815479的博客
12-26 2063
大文件分片上传和文件夹上传
协同数据交平台详细设计方案.doc
08-18
平台采用了一系列先进技术，如企业服务总线（ESB）、数据抽取ETL（Extract-Transform-Load）、消息中间件和大文件传输，旨在打通业务系统内部、横向和纵向的数据集成通道。该平台包含文件适配器、数据库适配器和Web...
WMS接口程序.rar
09-01
本文将详述“WMS接口程序.rar”所涉及的知识点，主要包括Oracle数据库与SQL Server数据库之间的数据迁移、数据同步以及接口设计的原理与实践。 首先，Oracle数据库是甲骨文公司开发的关系型数据库管理系统，以其...
基于flink的异构数据源流转系统
最新发布
03-15
系统需要能有效地从这些源头抽取数据，进行转换并加载到目标存储中，实现数据的统一管理和分析。 系统的主要功能包括： 1. **数据同步**：通过Flink的Source和Sink接口，系统可以连接各种异构数据源，实现实时或...
VB试题库自动组卷系统设计(论文+源代码).zip
03-01
9. 系统集成：如果系统需要与其他教务系统对接，还需要了解API接口设计和数据交换格式，如XML或JSON。 10. 源代码分析：提供的源代码是理解系统实现的关键，通过阅读和分析代码，可以学习到实际项目中的编程技巧和...
数据中台设计方法论.docx
11-12
数据开发可视化供应数据接口的可视化统一管理页面，开发人员通过通过可视化管理 API，降低接口理解的难度，易于维护。 数据中台设计方法论是一个系统的设计方法论，旨在帮助企业构建一个数据中台，以便更好地管理和...
通用API: 一个接口解决90%的取数需求(附源码)
laughing_yang的专栏
12-19 1481
目录 1.背景 2.核心处理逻辑 3.使用示例 1.数据源配置 2.sql配置 3.分页调用 1.背景 1.大数据团队处理后的数据放在mysql里，给业务团队提供数据查询接口；如果case by case的开发接口，开发成本太高，得不偿失； 2.我们写了一个通用api的服务，通过配置数据源，SQL以及SQL参数，极大的减少了工作量； 3.支持多数据源、跨库查询、多表join、分页、匹配条件支持in、=、!=、>、>=、<、<=、like等；数值类型支持字符、日期、数字
通用数据抽取系统的设计与实现
09-17 138
1．可以实现异地的同构（可扩展）数据库的数据抽取。 2．由于考虑到地市局不能通过JDBC直连省局数据库，所以我们这里采用WEB SERVICE来绕过省局的防火墙，从而通过返回的SOAP信息的解析正确执行数据抽取操作。 3．由于考虑到数据源不一定是数据库，也可能是XML文件，所以我们的系统提供XML文件为数据源的数据抽取操作，但此XML文件必须遵循一定的格式。 4．由于考虑到数据抽取过程中可能...
无数据接口及api的情况下，自行进行系统对接的一种方法
可能青蛙的专栏
07-07 1万+
1、 问题 随着现在各种系统越来越多，各系统间的数据交换及对接也越来越频繁，当我们自己的系统需从其它系统获取数据或提供数据时，往往对方系统没有相关人员配合，也没有提供相应的对接接口，这时我们该怎么完成任务呢？ 我在工作中就遇到这样的问题，我们自己开发的系统的需要的上级部门的系统交互，主要是从上级部门系统中获取数据，并将处理的结果数据提交回上级系统。 上级部门的系统虽然提供了数据接口api
接口设计与数据同步解决方案小结
weixin_34194317的博客
05-12 769
    接口设计方面：      在做项目过程中，对于一个Web平台性的系统来说，往往需要为其他程序开放系统接口，即是以自己做的系统为平台，允许第三方的程序接入。需要和第三方的程序数据打交道，需要第三方程序通过调用web平台接口来传递数据。     这样对于Web平台来说，开放给第三方程序的接口设计方面有些值得注意的地方：       将第三方传递过来的数据，最好不要直接与系统本身的数据一起...
两个系统之间数据同步
weixin_33743661的博客
01-27 1573
2019独角兽企业重金招聘Python工程师标准>>> ...
系统对接，数据抽取采集
walking_visitor的博客
01-25 896
站在产品角度，看ETL的数据抽取，在日常中的工作内容
保险公司SAP财务信息系统.pptx
04-15
系统设计有灵活性，特殊情况如需要抽取特定范围数据时，需要与SAP系统维护人员协调。 3. **数据操作原则**: 在SAP财务系统中，所有业务数据必须先在业务系统中的财务模块处理，不能直接修改或删除。任何错误都必须...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值