如何处理复杂的多数据来源业务

最新推荐文章于 2022-09-14 14:19:24 发布
最新推荐文章于 2022-09-14 14:19:24 发布
阅读量682 收藏
点赞数
分类专栏： JS 文章标签： js
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nick_yangxiaotong/article/details/81008997
版权

中心思想

  • 把握好数据流向，画好必要的数据流向图
  • 约定好数据字段，定义处理字段的函数
  • 暴露统一的操控入口
把握好数据流向
  1. 需要展示的数据
  2. 需要传递的数据
  3. 初始化的数据
初始化状态
  1. 组件的状态初始化
  2. 存储数据的容器初始化
容错和报错

报错是开发环境的报错，容错是生产环境的容错

Nick_YangXiaoTong
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据项目实训总结-大数据分析处理实践的一点心得.pdf
12-24
⼤数据项⽬实训总结_⼤数据分析处理实践的⼀点⼼得 最近的项⽬中，需要对海量的原始数据进⾏加⼯处理。并且数据的来源也不尽相同，数据处理链条很长。针对这种实际应⽤中的场景，有⼏ 点⼩⼩的新的体会，特意总结⼀下。 1.最重要的是，编码之前尽可能多地搞清楚原始数据各字段的含义。越是原始数据复杂，越是数据多，越是数据⼤，越是需要从业务⾓度理 解数据的含义。否则可能因为⼀个⼩⼩的细节，会让你痛不欲⽣，⽩⽩浪费好多时间，⽽且debug过程的痛苦，你懂的。 2.编码前，尽可能定义清楚所需要的数据结构。经典理论⾥⾯的编码就是算法+数据结构，由此可见数据结构的重要性。 3.个⼈的观点是项⽬开始阶段，数据结构越简单越好，这样编码的难度，代码的可读性以及可维护性都⽐较好。使⽤复杂数据结构的好处就 是⽅便以后的扩展，⼤部分时候，我们项⽬的复杂度不会太⾼，所以初始阶段还是采⽤简单的数据结构为好。 4.数据量⼤了以后跑⼀个MR任务或者Spark任务的代价都不⼩。快的话⼗分钟，慢的话⼀个⼩时甚⾄⼏个⼩时，⽽且还需要依赖集群的资 源。这个时候，可以采⽤抽样的⽅式先快速观察代码的输出，以提⾼调试效率。另外，尽可能减少不必要的输⼊数据，注意集群的⽇志输 出，也⾮常重要。
这可能是大型复杂项目下数据流的最佳实践
云栖技术精选
03-05 135
简介：实际项目中沉淀的数据流最佳实践。 作者 | 被单 数据流是前端一直以来都存在的一个问题，我们项目沉淀了一套最佳实践，如有问题，欢迎探讨???? 在旧的 Done 项目中，代码复杂度高，已经到了“牵一发而动全身”，技术债极高的情况。由于旧代码“错综复杂”，导致实现一个简单的功能，都需要比正常时间多2～3倍的工作估时。就像下面这张图的情况一样。 我们仔细分析下现有的业务，会得出下面的业务特性： 强领域（比如：项目/文件/团队/用户领域，在很多组件都会同时调用某个领域下的方法，静.
复杂数据处理（如时间整合）
weixin_45435854的博客
06-13 417
对于一些数据格式，需要进行归纳比如以下数据返回的全是单条的时间数据 但是我们需要做成以下这种样式风格。就要把当天的归类成一组数据 数据结构最终为: var result = {}; var data = res.data.freezingAmount;//请求回来的原数据 console.log(data); for (var i = 0; i < data.length; i++) { //将时间转换成如：2020-02-22 var key = data[i]['create_at'
多来源数据采集、处理的数据流程
weixin_34175509的博客
11-07 910
数据平台数据处理流程图 数据准备： 主要分为几个来源：FTP数据来源，合作方推送的数据，从携程对外开放的API接口获取数据，酒店管理系统日志数据以及在线旅行社网站的数据源。 数据接入： 针对数据多来源的特性开发针对特定场景的数据接入方式。 a.FTP来源的数据：采用shel脚本开发，包括检查数据是否准备就绪、开始下载、解密解包、lzop压缩、put方式...
关于复杂数据的处理
一名在校大三学习JAVA
09-14 180
【代码】关于复杂数据的处理。
解读：大数据分析及其数据来源
weixin_33911824的博客
10-02 1763
当我们谈到大数据分析，首先需要确定数据分析的方向和拟解决的问题，然后才能确定需要的数据和分析范围。大数据驱动的分析主要的挑战不是技术问题，而是方向和组织领导的问题，要确定方向，提出问题，需要对行业做深入的了解。当然，大数据分析最核心的，关于数据的来源更是至关重要的。在数据量非常大的今天，如何以更高的效率获取到分析所需要的数据，如何利用这些数据反应最真实的...
数据分析系统不同数据来源
anniewhite的博客
04-04 1595
目录课程计划多彩缤纷数据源业务系统数据爬虫数据 课程计划 多彩缤纷数据源 1.1 业务系统数据 1.2 爬虫数据 数据的管理 数据仓库 Apache Hive Hive基本操作 Hive参数配置 Hive函数 多彩缤纷数据源 典型的数据分析系统，要分析的数据种类其实是比较丰富的。依据来源可大体分为以下几个部分： 图：数据分析系统数据来源 一家公司只要去提供服务，不管是PC网站，H5页面，还是...
杉岩数据企业内容管理解决方案
01-07
随着人工智能、4G/5G技术发展，越来越多的企业利用照片、视频等方式取代现场业务办理，提升业务办理效率，同时通过这些方式记录业务处理过程，保证服务质量。而这些方式的应用，使得企业应用产生非结构化数据的来源...
货物发送的数据流程图-业务流程图-可行性分析报告与数据字典.doc
12-24
三、零件组装厂管理信息系统的业务流程图： 四、零件组装厂管理信息系统的数据流程图： 五、数据字典 数据流的定义： 数据流编号：B1 数据流名称:发货单 简述：零件供应商送来的发货单 数据流来源：零件供应商 数据...
数据建模分析.doc
12-23
在数据的获取阶段，要确保所有的数据来源是一致的，或者经过一定的处理后是一致 的。如果数据来源不一样的，那么我们就有必要把数据来源信息也包含在数据仓库中 ，以便在后续的数据转换中对不同来源数据进行分析。 ...
数据中心建设设想.docx
07-10
数据中心建设设想 一、项目背景 快速应变和决策能力是企业重要核心竞争力之一，要... 1、数据获取整合层 数据获取和整合层主要实现从现有业务系统及外部数据来源中检索、接收，将来自不同数据格式的数据转换成统一格式
什么是报表的多样性数据源问题？如何解决？
qq_40600249的博客
06-30 115
在报表开发早期，报表连接的数据源基本只有关系数据库，而且经常只有一种或者只有一个数据库。 但今天就不一样了，数据源种类繁多，除了 RDBMS 还有 1.MongoDB、Cassandra、HBase、Redis 这些 NoSQL 数据库； 2.TXT/CSV、Excel、JSON/XML 等文件； 3.HDFS 等分布式文件系统； 4.webService； 5.ES、Kafka 等其他数据源形式 …… 当这些都成为报表数据源，报表需要从这些数据源分别或混合取数运算进行报表呈现时，报表就出现了多样性
复杂业务逻辑问题记录
学习真香
12-19 2622
复杂业务逻辑 在项目中碰到的业务需求,有的确实很合理,但是逻辑上却也十分的复杂. 这里记录一下,让我困惑的问题.希望随着技术和经验的增长能够解决下列的问题. 随机抽取N个人并且符合条件: 示例条件: 随机抽取 5 个人 这些人需要满足 男女最少各2人 最多各不超过4人 专业满足农学至少1人 职称为高级工程师至少1人 思路 数据库中可以通过 IN() OR IN() 来减少数据量 后台查询...
数据分析，如何解决复杂的企业问题
weixin_45534843的博客
07-09 361
很多同学表示：从0到1的文章很多，可面对复杂问题，该怎么搭建数据分析思路呢？首先，“复杂”一词在不同等级的数据分析师里含义不同。对小白而言，领导传达命令的时候，有“模型”俩字的就是复杂问题，一听“模型”，新人就开始狂翻《西瓜书》《统计学习》《机器学习》誓要与“模型”血战300回合。而有经验的同学都知道，企业里真正复杂的才不是这些。来看个具体例子： 场景：电商行业（纸质书、视频光盘等商品为主），客服领导对物流领导意见非常大，认为物流问题影响了客户满意度。但物流领导表示：所有发货不及时，发货过程中包装破损等问题
面对客户太多需求,如何在范围和时间上达成一致？
老紫竹的专栏
01-22 3896
来自于 软件开发者面试百问答案 - 如果客户想要的东西太多，你在范围和时间上怎样跟他达成一致呢？   这个太正常了，用户希望你的系统能实现他所有想到的功能，但1 任何功能总有主次，不能为了芝麻丢西瓜2 能为公司挣钱或者省钱的功能，应该是最重要的3 能为销售服务的功能，是最重要的4 能为研发服务的功能，也是重要的，但在大部分公司里，等级略低于销售5 领导最关心的几个数
从经典面试题了解async、await、promise
Nick_YangXiaoTong的博客
12-10 2255
evenloop 执行同步代码（属于宏任务，如遇微任务会推到微任务队列） 执行所有微任务 执行异步代码 面试题 async function async1() { console.log("async1 start"); await async2(); console.log("async1 end"); return 'async return'; } as...
开发一个复杂的数据大屏
最新发布
05-17
2. 设计数据模型：根据需求设计数据模型，包括数据来源、数据结构、数据格式等。 3. 数据清洗和处理：将原始数据进行清洗和处理，包括去重、填充空值、转换数据类型等。 4. 数据可视化：使用数据可视化工具，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值