- 博客(7)
- 收藏
- 关注
RSS订阅转载 ETL工具选型
ETL工具-Datax使用datax工具介绍datax是阿里开源的离线数据同步平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。开源发布在github上，详细安装步骤见github。下载编译安装坑点：a、datax的环境要求：linuxjdk (1.8)pyt...
2019-06-28 19:23:45
2935
转载 信息系统安全等级保护三级的基本要求 引用的规范文件
物理安全 物理位置的选择:机房和办公场地应选择具有防震、防风和防雨等能力;应避免设在建筑物的高层或地下室，以及用水设备的下层或隔壁;三级要求进行楼层的选择。 物理访问控制:按照基本要求进行人员配备，制定管理制度;同时对机房进行区域管理，设置过度区域、安装门禁;三级要求加强对区域的管理和重要区域控制力度。 防盗窃和防破坏:按照基本要求进行建设。制...
2019-06-27 12:42:15
3145
原创 数据分析部门的团队组建
数据分析部门的团队组建数据科学家：他们是“比工程师更好的统计学家，又是比统计学家更好的工程师”，又叫“思想家”。数据工程师：他们一方面构建管道向数据科学家提供数据支撑，另一方面又将数据科学家提出的想法付诸实践，又被称为“执行者”。基础架构工程师：他们维护Hadoop集群，以及大数据基础架构。又被称为“水管工”。ETL工程师、报告开发人员以及DBAs。ETL工程师负责将数据导入数据中...
2019-06-26 12:12:53
2768
1
原创 编程示例：拉马努金数的计算 以赋值变量的方式实现和以流的编程方式实现
定义：n=a^3+b^3=c^3+d^3abcd互不相等，且都是大于等于1的自然数n为拉马努金数推论：拉马努金数的自然数的N的立方数的倍数，仍是拉马努金数。例子：1729,4104,13832,20683，3283239312，40033，46683，65728，110808，149389...
2019-06-25 17:52:42
1552
2
原创 数据仓库
为什么使用数据仓库？当如下的场景发生时，说明我们需要使用数据仓库这种解决方案。当我们要对大量的历史记录信息进行存储与分析时。当我们需要对系统快速地查看报表与图表时。当我们对分析的操作有多个维度，多个层级时，并且需要查询组合了多个维度且在每个层级的统计指标数据时。数据仓库的实现目标是什么？1更好的跟踪历史信息，2更快的产生报表3把众多的数据源的数据集中起来，进行规范化，标准...
2019-06-24 18:08:37
112
原创 系统需求分析示例
系统软件非功能性需求分析1存储容量两年内最大100TB，主要为图纸文档之类的非结构化的资源数据。2并发性指标:QPS峰值10万，平时5千左右3高可用性要求，需要有异地灾备系统。保证在系统故障发生时，可以实时切换到备用系统。参考服务质量保证等级。4运维要求自动化部署。出错后自动回滚至之前的正常版本。5安全性:参考信息系统安全保护等级第三级的基本要求。6网络瞬间最大带宽需求:万兆比特每秒。...
2019-06-18 19:12:08
2720
原创 软件源于数学，开发要抓住不变部分，形成模式，再进化成框架
软件源于数学，开发要抓住不变部分，形成模式，再进化成框架软件的抽象方法继承于数学，例如求和符号。数列的数据项的表达式千变万化，求和的形式不变。求和的数据项在软件中由一个常量抽象为一个表达式。在一个数列上的求和，求积，计数等，计算方法是千变万化的，对数列的遍历过程是不变的，表示计算方法的表达式被抽象为匿名函数。如果一个程序代码块，具有模板的特征，只有极少处地方有变化。大部分保持不变。大部分程序员图...
2019-06-05 21:47:34
159
matlab安装教程在windows操作系统下
2024-04-09
数据分析领域-Python编程语言-NumPy数据处理-参考资料
2024-03-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人