binguo的博客

新目标 新起点 逐一击破

gpcrondump备份命令翻译笔记(GreenPlum)

把一个数据库备份成SQL脚本文件,该脚本文件可以用gpdbrestore命令来恢复数据库。 摘要 gpcrondump -x database_name     [-s schema | -t schema.table | -T schema.table]     [--table...

2018-01-20 12:45:37

阅读数 1076

评论数 0

Postgresql中时间戳与日期的相互转换(同样适用于GreenPlum)

--日期转时间戳 SELECT EXTRACT(epoch FROM NOW()); SELECT EXTRACT(epoch FROM CAST('2017-12-06 00:17:10' AS TIMESTAMP)); --时间戳转日期 SELECT TO_TIMESTAMP(15124...

2017-12-09 19:46:29

阅读数 9925

评论数 0

Linux下安装rar命令,简易而不简单

wget https://www.rarlab.com/rar/rarlinux-x64-5.5.0.tar.gz tar -zxvf rarlinux-x64-5.5.0.tar.gz cd rar make install mkdir -p /usr/local/bin mkdir -p /u...

2017-11-16 18:30:49

阅读数 4361

评论数 1

GP通过外部表装载数据时遇到ERROR:extra data after last expected column解决方法

一般通过hive -e导出文本时,我都习惯把比较容易出错的String类型字段做一次regexp_replace()处理, 因为如果字段里面含有制表符,那是一件很坑很坑的事。 hive -e "select regexp_replace(String_Col1,'\t',''),Dat...

2017-10-17 20:01:07

阅读数 4475

评论数 0

12个scp命令传输文件的例子

本文转自博客: http://www.cnblogs.com/voidy/ SCP(Secure Copy)是一个在各个主机之间进行复制或者文件传输的一个命令行工具。 它使用一种同ssh一样的安全机制。事实上,它在后台使用ssh连接来进行文件的传输。 scp既指一种定义安全复制应该如何...

2017-10-12 21:18:03

阅读数 868

评论数 0

Linux下Samba服务配置笔记

1.yum方式安装samba服务(实践证明yum方式安装最方便) yum -y install samba 2.养成好的习惯,先把smb.conf备份 cp smb.conf smb.conf.bak 3.配置samba服务 vi /etc/samba/smb.conf [share]...

2017-09-30 00:01:57

阅读数 510

评论数 0

GreenPlum之日常SQL脚本笔记(二)

1.查看数据库中大于100MB的表的倾斜情况 SELECT table_name,max_div_avg,pg_size_pretty(total_size) table_size FROM ( SELECT table_name, MAX(size)/(AVG(size)+0.001) AS ...

2017-09-24 19:51:23

阅读数 1302

评论数 0

GreenPlum之日常SQL脚本笔记(一)

--1.指定月份总共多少天 SELECT EXTRACT(DAY FROM CAST('2017-08-01' AS DATE) + INTERVAL '1 month' - INTERVAL '1 day') SELECT EXTRACT(DAY FROM CAST(TO_CHAR(NOW()...

2017-09-18 20:59:38

阅读数 977

评论数 0

Hive参数配置调优

hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务,其中至少有一些是可以并行执行的。 确定最佳的mapper个数和reducer个数取决于多个变量,例如输入的数据量大小以及对这些数据执行的操作类型等。 保持平衡性是很有...

2017-09-07 00:16:54

阅读数 492

评论数 1

SQLServer字段替换隐藏字符CHAR(0),踩坑后Get新技能

大半夜的不由的想说一句:世界上本没有坑,挖的人多了,于是就有了坑。但踩的坑多了,想问题的角度也就改变了,一切都很值。 坑王驾到背景:用Kettle导SQLServer中的十几张表到PostgreSQL,导某个表的时候发现有些字段肉眼看上去是空白的,但死活都导不进去, 用LEN()函数发现竟然有...

2017-08-30 01:17:37

阅读数 1762

评论数 0

Linux(CentOS)下Postgresql数据库的安装配置

1.验证本机是否已经安装: [root@master ~]# rpm -qa | grep postgresql 2.yum方式加-y参数安装(-y默认需要选择的全部选择是) [root@master ~]# yum -y install postgresql* 3.初始化数据库 [root@ma...

2017-08-29 00:00:08

阅读数 2390

评论数 0

CentOS下实现SCP免输密码传送文件

前提条件:两台CentOS主机拥有相同的用户名,假设主机A和主机B拥有相同的用户名binguo,只需下面两步 1.以binguo帐户名登录主机A,主目录下执行如下命令生成配对密钥,不用管提示,一路回车; ssh-keygen -t rsa 2.将主目录下隐藏目录.ssh中的id_...

2017-08-21 23:17:55

阅读数 3037

评论数 1

HiveQL逻辑执行顺序

FROM->WHERE->GROUP BY->HAVING->SELECT->ORDER BY Hive总是按照从左到右的顺序执行的,如a、b、c三个表关联 select a.id,b.colname,c.colname from a join b on a.id...

2017-08-16 23:40:20

阅读数 2505

评论数 0

CentOS上以源码的方式安装Redis笔记

1.下载Redis指定版本到当前目录 wget http://download.redis.io/releases/redis-4.0.1.tar.gz 2.解压源码包 tar zxf redis-4.0.1.tar.gz 3.建立redis软连接(不把redis目录指定在固定版本上,有利...

2017-08-14 23:37:27

阅读数 3033

评论数 0

Python学习心得(七) 深入理解threading多线程模块

Python提供了多个模块来支持多线程编程,包括thread、threading和queue模块等。 thread模块提供了基本的线程和锁定支持;而threading模块提供了更高级别、功能更全面的线程管理。 queue模块,用户可以创建一个队列数据结构,用于在多线程之间进行共享。 ...

2017-08-13 00:11:21

阅读数 1925

评论数 0

SQL Server返回两个Date日期相差共多少天零多少小时零多少分钟零多少秒

如果工作中遇到需要统计两个时间段相差的详细时间信息,你会怎么做?欢迎思考,欢迎讨论。我的需求是:统计两个时间段之间相差了共多少天零多少小时零多少分钟零多少秒,要求返回的是 XX天XX小时XX分钟XX秒。 1天 = 24小时 = 1440分钟 = 86400秒 FLOOR()函数返回小于等于所...

2017-08-08 22:27:50

阅读数 6868

评论数 0

Python学习心得(六) 反射机制、装饰器

1.反射机制 #/usr/bin/env python # -*- coding:utf-8 -*- ''' Python反射机制的核心本质:利用字符串的形式去对象(模块)中操作(查找/获取/删除/添加)成员,一种基于字符串的事件驱动 通俗讲就是通过用户传入url的不同,调用不同的模块函数,好...

2017-08-06 22:08:40

阅读数 2816

评论数 0

玩转正则表达式(Regular),这个世界正在奖励偷偷用心的人

声明:以下只是本人学习正则表达式的笔记概要,主要参考: 正则表达式30分钟入门教程 1.必记的常用元字符: . 匹配除换行符以外的任意字符 \w 匹配字母或数字或下划线或汉字 \W表示与之相反 \s 匹配任意的空白符 \S表示与之相反 \d 匹配数字 \D表示与之相反 \b 匹配单词的开始...

2017-08-04 23:49:24

阅读数 10737

评论数 0

Python简单抓取CSDN博文列表并写入SQL Server数据库

#/usr/bin/env python # -*- coding:utf-8 -*- import re #导入正则模块 import requests #导入http客户端库 import lxml.html #基于libxml2这一XML解析库的Python封装,该模块使用C语言编写,解析速...

2017-08-03 21:50:02

阅读数 4136

评论数 0

SQL Server通过外部程序集注册正则表达式函数(CLR函数)

1.下载dll程序集(通过C#编写的支持正则的方法),百度网盘下载: 1.1如果只想用,可以直接下载MSSQLRegexExtend.dll https://pan.baidu.com/s/1qX8eHa8 1.2正则程序集对应的解决方案MSSQLRegexExtend.sln,已打包 h...

2017-08-02 21:17:05

阅读数 3355

评论数 3

提示
确定要删除当前文章?
取消 删除
关闭
关闭