徐长亮的专栏

解放思想,实事求是,团结一致向前看

linux expect 判断项实现sftp目录创建和上传的功能

#!/usr/bin/expect # 脚本名称: sftp.sh # 执行例程 expect sftp.sh '192.168.1.1' 'user' 'passwd' '/DXP/DATA/EDW/ROUT/BEIJING_2016-12-01.DAT' '/app/sftp/BCSS_FIL...

2019-05-07 14:04:52

阅读数 4

评论数 0

再聊三范式,公司的java工程师真的不了解三范式,给我们数据仓库带来很多困扰

第一范式: 1.列的值唯一性 2.违反范式1的是另外一种含义:一个列的存放多个列的数据,不方便数据使用、修改和删除,可维护性极差 第二范式: 1.属性完全依赖于主键:(1)必须满足第一范式 (2)必须有主键 (3)其他列必须完全依赖于主键 2.违反范式2的是另外一种含义:将两个实体放在同一个表中,...

2018-12-03 15:51:52

阅读数 83

评论数 2

利用vbscript清理C盘大文件

 思路是: 1.轮询查找C盘(或者其他目录)的所有子目录及子文件夹 2.如果是文件,不是目录,则判断文件的大小,自定义阈值比如100M 3.满足条件的文件,将文件的绝对路径,文件名,文件大小,修改日期等,写入到excel中 注:还有很多缺陷没有做,后续更新,未完待续 dim xlsAp...

2018-10-15 16:45:28

阅读数 79

评论数 0

HP vertica收集表的统计信息

一.通过PROJECTION_COLUMNS的statistics_type查看表的列的统计信息类型,和收集时间SELECT projection_name,projection_column_name,       statistics_type,statistics_updated_times...

2018-04-13 10:58:36

阅读数 219

评论数 0

ElasticSearch 5.6和6.2 Index Templates的区别

ElasticSearch 5.6PUT /_template/template_wopayapp{    "template" : ["wopayapp*"],    "order" : ...

2018-02-28 16:06:29

阅读数 1654

评论数 0

ElasticSearch的客户端程序开发(R,perl,python)

1 R语言 1.1  R client for the Elasticsearch HTTP API 代码1 #https://github.com/ropensci/elastic install.packages("elastic") install.packages...

2017-11-29 14:42:51

阅读数 617

评论数 1

ElasticSearch的状态查看

1.1    基本状态查看 集群状态 get _cluster/health get _cluster/state get _cluster/settings get _cluster/pending_tasks   注: get _cluster/health查看分片状态 get _cl...

2017-11-29 14:36:37

阅读数 4244

评论数 0

ElasticStack安装(ELK)

1.1    介绍 1.1.1  下载地址 elastic: https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.1.zip https://artifacts.elastic.co/download...

2017-11-29 14:19:30

阅读数 2163

评论数 0

ElasticSearch-R语言接口包api

ElasticSearch R语言接口,ELK R语言接口,ElasticSearch R语言包,R语言elastic包

2017-08-15 20:46:20

阅读数 1804

评论数 3

vbscript管理磁盘文档目录

目的:通过vbscript生成磁盘目录和文档的清单,写入到excel中保存 途径: 通过wscript的Excel.Application对象和Scripting.FileSystemObject对象 函数: a. writexls写入excel内容 b. listfiles遍历所有文件...

2017-07-05 09:01:55

阅读数 2191

评论数 0

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper-500行说明

HDFS YARN zookeeper HBASE HIVE HIVE hwi的启动 HDFS和HBASE动态增加和减少节点 完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper

2017-04-08 15:33:18

阅读数 2934

评论数 0

HDFS YARN zookeeper HBASE HIVE HIVE hwi的启动

三.启动zookeeper /app/zookeeper-3.5.2-alpha/bin/zkServer.sh start ssh node02 '/app/zookeeper-3.5.2-alpha/bin/zkServer.sh start' ##/etc/profile不生效 /app/...

2017-04-08 12:55:35

阅读数 749

评论数 0

HDFS和HBASE动态增加和减少节点

一.HDFS动态增加节点: sbin/hadoop-daemon.sh start datanode sbin/hadoop-daemon.sh start tasktracker DEPRECATED: Use of this script to execute mapred command...

2017-04-08 12:48:58

阅读数 3422

评论数 0

SQL查询结果添加行号

方法1:rownum 缺点,rownum的顺序,order by之后,会发生变化 方法2:序列. 缺点:每次调用序列的nextval()方法之后,序列的值加一,就不能保障第二次执行sql,序列是从1开始的. 推荐方法: 使用count() over() 分析函数. 例子如...

2017-03-08 09:55:20

阅读数 4426

评论数 0

数据仓库之四部"圣经"

Bill Inmon在Building the Data Warehouse主张建立数据仓库时采用自上而下(DWDM)方式 Ralph Kimball在The DataWarehouse Toolkit则是主张自下而上(DMDW)的方式

2017-02-06 10:56:34

阅读数 1656

评论数 1

Data quality in DW-ETL的质量问题

转载之神舟通用的官方文摘: ETL的质量问题具体表现为: * 正确性(Accuracy):数据是否正确体现在现实或可证实的来源; * 完整性(Integrity):数据之间的参照完整性是否存在或一致; * 一致性(Consistency):数据是否被一致的定义或理解; * 完备性...

2017-01-10 14:01:44

阅读数 473

评论数 0

推荐微信排版工具

http://www.ipaiban.com/挺好的东西,推荐

2017-01-10 13:15:55

阅读数 646

评论数 0

ETL解决方案之ETL子系统详解

ETL解决方案之ETL子系统详解 一 前言-ETL子系统由来 作者kimball在2002年出版的《The data warehouse etl toolkit》定义了38个ETL子系统。 在2008年出版的《The data warehouse l...

2017-01-10 13:13:11

阅读数 2512

评论数 0

Backing Up and Restoring the Database

Backing Up and Restoring the Database HP Vertica支持一个综合的应用,vbr.py Python script,它的功能包括:back up, restore, list backups,把数据库复制到其他集群。备份支持object-level ba...

2017-01-09 14:28:54

阅读数 518

评论数 0

Sublime Text 3 运行perl程序

sublime text 3功能强大,备受外国人喜欢。 但是一部分国人,喜欢用Notepad++,优势处理中文,保存为GBK格式的文本。 一部分国人,喜欢用UltraEdit,优势是处理几十G,几百G的大文本文件。 Sublime运行Perl程序 新建P...

2017-01-05 15:06:08

阅读数 2652

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭