- 博客(8)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Vertica的这些事(九)—— 关于vertica的Connection Failover
最近在生产中发现vertica有个别节点老是宕机（又碰到的童鞋交流下），实际业务中有Python通过odbc连接vertica，还有Java通过jdbc连接vertica。假如你连接的那个节点正好是down的节点或者是standby节点，那么就会连接失败，程序就会报错，影响正常业务。其实vertica官方文档已经给出了解决方法，下面我们来看一下如何实现。ODBC Connection Fail...
2016-08-23 17:42:51
3041
原创 hive数据迁移
比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。[export/import]设置默认需要导出的hive数据库在hive目录/etc/alternatives/hive-conf下添加.hivercvi ~/.hivercuse test;创建数据临时目录hdfs dfs -mkdir /tmp/test生成导出数据脚本hive -
2016-08-22 15:31:16
2447
原创 Spark的这些事<三>——spark常用的Transformations 和Actions
Transformationsmap，filter spark最长用的两个Transformations：map，filter，下面就来介绍一下这两个。先看下面这张图：从上图中可以清洗的看到 map和filter都是做的什么工作，那我们就代码演示一下。 val input = sc.parallelize(List(1,2,3,4)) val result1 = input.map(x
2016-08-17 19:58:21
1545
原创 Spark的这些事<二>——几个概念
1、SparkContext [经常简称为 sc]spark app 的起点和入口，一般用来加载数据集，生成第一个 rdd。2、定义一个 spark 应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示。加载数据集加载数据集，这里的数据集大概分为两组: - 一种是不变的，静态数据集，大多数场景都是从数据库，文件系统上面加载进来 - 另一种是动态的数据集，一般做 stre
2016-08-12 12:59:37
1308
原创 VSQL常用命令
Linux环境下，一般都是使用vsql客户端连接vertica来执行命令的，下面就介绍一下vsql常用的命令有哪些。导出数据/opt/vertica/bin/vsql -U $usr -p 5433 -h 172.17.12.208 -w $pwd -At -o /home/zyzx/20160809.dat -c "select * from tb_test;"默认是以‘|’分割的，指定分隔符如下
2016-08-09 15:51:20
59964
3
原创 Vertica的这些事(八)—— SQL Server、Oracle、MySQL和Vertica数据库常用函数对比
SQL Server、Oracle、MySQL和Vertica数据库常用函数对比 Vertica数据库是HP公司新收购的用于BI方面的数据库。SQL Server、Oracle、MySQL和Vertica数据库常用函数对比 Vertica数据库是HP公司新收购的用于BI方面的数据库。绝对值S:select abs(-1) valueO:select abs(-1) value from du
2016-08-08 17:59:25
6159
原创 Vertica的这些事(七)—— vertica加密数据
通过创建 Secure Access Policies可以对vertica中的某一列数据进行加密：CREATE ACCESS POLICY ON [schema][tablename]FOR COLUMN columnnameexpression[ENABLE/DISABLE];例如：CREATE ACCESS POLICY ON customers_tableFOR COLUMN SSN
2016-08-08 17:34:56
2121
2
原创 Vertica的这些事(六)—— vertica存储统计信息
vertica存储统计信息：表数量： select count(distinct table_name) FROM tables;分区表数量：select count(distinct table_name) from PARTITION_COLUMNS;总表占大小：SELECT sum(used_bytes)/1024/1024/1024 FROM projection_storage ;分区表
2016-08-03 14:25:40
2777
Vertica的那些事.pdf
2019-08-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人