NextMark-CSDN博客

原创 DataShops数据工厂，工作流依赖（三）

DataShops工作流依赖工作流调度中，任务之间的依赖十分重要，决定着整个工作流的准确性，因为任务的调度周期各不相同，依赖的添加显得稍微复杂。在DataShops中，把任务的调度周期分为分钟、小时、天、周、月共五种，他们直接可以相互添加任意偏移量的依赖。偏移量DataShops中依赖的具体计算使用对应的偏移量来表示，其支持两种定义方式，分别是集合和区间集合代表使用集合中所有的变量作为偏移区间代表从左区间到右区间所有的整数偏移量规定他们都是闭区间，其中区间不允许左边大于右边，且都为整数

2021-04-03 22:29:09 274

原创 DataShops数据工厂，系统架构（二）

系统架构DataShops系统有四个角色组成，分别是Master、Worker、API、UI，他们独立部署，不同角色间使用gRPC框架通信，Protocol Buffer对消息序列化设计目标支持多种类型任务工作流配置、依赖、执行等可视化操作支持最小单元添加依赖支持日志实时滚动支持任务失败重试支持任务失败告警支持多种任务分发机制，随机、负载、指定主机动态中心化设计，多台Master可实现负载均衡支持docker与k8s部署对外API服务，开放查询任务相关元数据，方便对接外部系统支.

2021-03-29 14:41:04 399 2

原创 DataShops数据工厂，大规模工作流调度平台（一）

简介DataShops - 数据工厂是一个企业级PaaS平台，为企业提供工作流调度、数据开发、数据集成和数据服务等全方位的产品服务，一站式开发管理的界面，降低大数据开发和维护成本，帮助企业专注于数据价值的挖掘和探索。功能全面托管的调度DataShops提供强大的调度功能，无需关心调度的服务器资源问题，提供隔离功能，确保不同租户之间的任务不会相互影响。支持根据时间、依赖关系，进行任务触发的支持每日千万级别的任务，根据DAG关系准确、准时地运行支持分钟、小时、天、周、月多种调度周期.

2021-03-25 21:25:21 729

转载 Ubuntu12.04 下MySQL 5.6 的安装

第一次接触服务器版Linux，也是第一次用命令行安装二进制mysql，两天一夜，比较痛苦。留做备忘！首先，下载二进制版本的mysql包: http://cdn.mysql.com/Downloads/MySQL-5.6/mysql-5.6.10-linux-glibc2.5-x86_64.tar.gz因为Ubuntu Server上 wget比较慢，所以我是直接在windows用迅

2014-02-26 20:24:51 840

原创 Sqoop在Hadoop和关系型数据库之间的数据转移

sqoop支持增量导入查看job： sqoop job --meta-connect jdbc:hsqldb:hsql://ip:port/sqoop --list复制mysql中表结构到hive表： sqoop create-hive-table --connect jdbc:mysql://ip:port/dbName --table table

2014-02-10 19:38:10 1430

原创 MySQL-python

使用python操作MySQL数据库时，需要以来MySQL-python，今天在安装使用时发现几个安装错误，执行以下安装命令：python setup.py buildpython setup.py install执行第一条命令时就出错了：EnvironmentError: mysql_config not found解决方法：sudo apt-get install li

2014-02-10 19:22:29 805

原创 git与gitthub管理项目

gitthub可以托管各种git库，下面介绍怎样使用它来托管自己的代码。进入https://github.com/申请帐号新建一个repo，点击"Create a new repo"，输入项目名称和描述，如下图git通过ssh访问资源库，所以需要生成私钥，使用命令：ssh-keygen -C 'you email [email protected]' -t rsa此时在 ~/.ssh/

2013-11-25 20:23:00 1695

原创 Eclipse安装使用Tomcat

1. Tomcat下载下载地址：http://tomcat.apache.org/download-70.cgi2. 安装 Tomcat 解压缩apache-tomcat-7.0.47.zip3. 下载 Tomcat Eclipse 插件下载地址 http://www.eclipsetotale.com/tomcatPlugin

2013-11-14 19:38:20 695

转载 ubuntu下中文输入法的安装--fcitx（可运行版）

转载：http://www.cnblogs.com/yuemengke/archive/2013/04/09/3010207.html在自己电脑ssd上装了ubuntu系统以来一直没有怎么用过今天打开电脑想着配置一下环境在查资料的时候难免的要输入中文然后自己弄了一下中文输入法的安装我安装的是fcitx小企鹅输入法下面介绍一下安装的过程。。。。。 1.打开

2013-11-14 19:19:27 904

原创 git回退的一次教训

对于git的认识从刚入职开始，简单了解后知道主要功能，代码托管，OK！因为只是个简单的代码托管工具，所以对它的了解只是会简单使用即可，然而......问题出现了。在一次对工程进行修改后（花费了我近一周的时间写的代码），开始使用git提交，我的步骤是：1：git diff //终端查看有哪些修改，gitk工具当然可以，但看不到缩进的问题2：git status //查看有哪些文件修改

2013-11-12 20:17:29 1756

原创 bash ‘/bin/sh: Syntax error: “(” unexpected

第一次因为项目需要要写shell脚本，毕业设计时开始接触shell，但都是很基本的在脚本中执行相同的测试用力，语法没有差别。今天要写的shell就复杂不少，首先是开始了解语法，这个容易，写完如干行shell脚本后开始执行，报错：bash ‘/bin/sh: Syntax error: “(” unexpected原因是bash问题！dpkg-reconfigure dash

2013-11-08 13:02:54 1297