- 博客(46)
- 收藏
- 关注
RSS订阅转载 实用小脚本——mysql/mongo 导出到本地文件
一. mongo导出到本地 点击(此处)折叠或打开 #!/bin/bash set -e ...
2017-06-07 15:00:21
187
转载 shell常用小方法——快速实现upper和lower
UPPERCASE： [root@datanode-32 test]# echo "abc123"| tr '[a-z]' '[A-Z]' 结果：ABC123 LOWERC...
2017-05-10 09:39:58
1492
转载 ES读取Json文件添加索引
今天学习了下，ES添加索引： 添加方式 ：1.读取 JSON 文件 获取相应的索引字段值 2.逐条读取写入ES创建索引。(注意:本例读一条，写一条效率非常低...
2017-04-15 15:56:46
1671
转载 msck repair命令 修复表分区
msckrepairtable 表名； 该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。 场景：...
2016-01-04 12:08:28
1171
转载 不使用分析函数的累计统计查询
案例：以日期金额统计为例SQL> select * from day_sales;SALE_DATE DAY_AMOUNT----------- ----------2015/1/1 ...
2015-09-21 15:44:05
130
转载 hive NULL值影响
今天发现一个问题，将数据文件导入hive，然后校验数据，具体如下：step1：select count(1),count(distinct sys_code,order_no,hotel_seq) from dw_sou...
2015-05-31 02:03:47
205
转载 Hadoop 版本演进
Hadoop版本演进概况：备注：NameNode HA ： NameNode高可用 ， HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题Yarm 分布式资源管理系统，...
2015-03-25 14:20:14
190
转载 Hive随手记——建库
HiveSQL 是 Hive查询语言。和普遍使用的SQL很类似。（与Mysql 最接近）Hive不支持行级插入操作、更新操作和删除操作。Hive不支持事物。HiveSQL可以用于创建、修改、删除数据库、表、视...
2015-02-26 17:16:43
108
转载 HIVE配置启动Hwi方法，版本0.14.0
1.下载源码包：wget http://mirror.bit.edu.cn/apache/hive/hive-0.14.0/apache-hive-0.14.0-src.tar.gz2.解压，并找到 hwi/web...
2015-01-20 16:18:59
195
转载 HIVE随手记——Hive命令（?$HIVE_HOME/bin/hive）
HIVE版本：0.14.0$HIVE_HOME/bin/hive 这个shell 命令是通向包括命令行界面(CLI）等Hive服务的通道。注意，是Hive服务的通道。用户可以将$HIVE_HOME/bin加入到环...
2015-01-20 15:01:10
849
转载 一个DATANODE无法启动的问题
java.io.IOException: File … could only be replicated to 0 nodes, instead of 1。使用dfsadmin -report报无数据节点，如下：[ha...
2014-12-02 16:33:29
208
转载 由hostname引起datanode无法正常启动的一个问题
安装hadoop 2.5.X版本的虚拟机群，在初始化 namenode 时候遇到了如下错误：SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostExce...
2014-11-26 14:55:59
306
转载 SecureCRT的sz/rz工具包
新系统需要安装SZ.RZ工具包，才能在secureCRT下使用1、下载软件 rzsz-3.34.tar.gz,登录linux，用命令 wgethttp://freeware.s...
2014-11-24 15:12:52
93
转载 MySql序列实现
小结一下：mysql 实现 oracle中序列的功能创建一张用于记录序列值的表：drop table if exists dpf_risk.seq_record;create table dpf_risk.s...
2014-11-04 17:48:09
56
转载 用户与用户组的常用操作
用户操作：1.新增用户 useradd test 新增test用户 注意：使用root用户给test 初始化密码，否则无法登陆2.修改用户usermod -d ...
2014-09-01 16:22:07
111
转载 配置虚拟机集群常用设置主机IP操作
一.设置主机名 安装好linux虚拟机后，查看主机名： uname -n 或 hostname命令 点击(此处)折叠或打开 [zhang@loc...
2014-08-29 16:40:29
283
转载 Pig 的安装与测试
下载Pig链接: pig.apache.org 目前最新版本 0.12.1 ，我使用的版本是0.12.0 准备工作： 1．安装Pig前，要安装部署好Hadoop分...
2014-06-23 12:48:05
100
转载 利用Workcount程序验证部署好机群可以正常工作
Step1 创建输入文件夹及输入文本文件 Step2 将输入文件放入HDFS 进入Hadoop主目录bin目录下： Ste...
2014-06-20 15:38:54
53
转载 Hadoop分布式环境搭建总结(非生产：Rat hat linux 6.4 + hadoop_1.2.1)
一．环境准备 1. VMware workstation 9 2. Red hat linux 6.4版本 32bit 3. JDK版本 jdk-7u...
2014-06-19 15:10:58
111
转载 Oracle 会话(Session)
在Oracle体系结构中很重要的三个概念 数据库(database)、实例(instance)、会话(session)什么是会话(session)?会话描述的角度是客户端，由客户端发起请求，服务器端响应回复。这种交互...
2014-06-17 20:14:05
726
转载 分析函数——keep(dense_rank first/last)
销售表:SQL> select * from criss_sales where dept_id = 'D02' order by sale_date ;DEPT_ID SALE_DATE GOODS_T...
2014-06-13 13:40:31
373
转载 分析函数——NTILE(n)
有时会有这样的需求:如果数据排序后分为三部分，业务人员只关心其中的一部分，如何将这中间的三分之一数据拿出来呢?这时比较好的选择，就是使用NTILE函数例:SQL> select 2 dep...
2014-06-12 15:42:04
512
转载 分析函数——FIRST_VALUE()和LAST_VALUE()
FIRST_VALUE()和LAST_VALUE()字面意思已经很直观了，取首尾记录值。例:查询部门最早发生销售记录日期和最近发生的销售记录日期SQL> select *from criss_sales ord...
2014-06-12 15:02:27
1395
转载 分析函数——NULLS FIRST/LAST
通过RANK()、DENSE_RANK()、ROW_NUMBER()对记录进行全排列、分组排列取值但有时候，会遇到空值的情况，空值会影响得到的结果的正确性例:销售表:SQL> select * from...
2014-06-12 10:58:05
78
转载 分析函数——统计
很多需求中都涉及到统计:均值、累计、范围均值、相邻记录比较等。这些操作会统计多次，或有明确的统计范围，或返回的记录统计的数据集不同...根据场景不同可分为如下几类: 1. 全统计 2. 滚动...
2014-06-12 09:02:50
77
转载 分析函数——排序排列（rank、dense_rank、row_number）
Oracle从8i开始就提供了3个分析函数：rank，dense_rank，row_number(1)Rank函数返回一个唯一的值，除非遇到相同的数据时，此时所有相同数据的排名是一样的， 同时会在最后一条相同...
2014-06-11 10:57:56
332
转载 分析函数概述
先通过一个例子，直观的感受下分析函数的简洁方便构造数据:销售表:create table CRISS_SALES( DEPT_ID VARCHAR2(6), --部门号 SALE_DA...
2014-06-06 13:12:42
50
转载 perl小脚本——ftp上传文件、读取数据库表中数据
/* ftp上传文件 */#!/usr/bin/perl-wuse strict;use warnings;#使用Net::FTP模块use Net::FTP;our $ftp_host = ...
2014-05-26 16:14:51
179
转载 字符类型的字符存储与字节存储
Oracle中存储字符常用的数据类型有char和varchar2其中char 是定长，最小为1，最大为2000varchar2 是变长，最小为1，最大为4000在使用过程中，常见的定义col char...
2014-05-26 13:43:34
861
转载 ORA-02030问题解决方法
给普通用户赋予对v$视图的查询权限，结果报 ORA-02030 错误ORA-02030: 只能从固定的表/视图查询(ORA-02030: can only select from fixed tables/views)...
2014-05-20 10:19:28
557
转载 Oracle数据库开发——深入索引结构
要想研究oracle索引 B-Tree索引的的结构和原理必须要用到下面这几句话:alter session set events 'immediate trace name treedump level 元数据段ID(obj...
2014-05-16 13:44:10
89
转载 Oracle数据库开发——了解索引
关于索引，有一种比喻，表数据是本大书，索引时这本大书的目录。如果书只有几页，你完全可以一眼翻看完，那目录就没太大必要了。因为看目录的时间，几乎可以让你看完这本书。索引是关系数据库中的一种基本对象，它是表中数据与相...
2014-05-15 11:10:11
76
转载 Oracle数据库开发——了解分区表
分区就是将一个非常大的表或者索引物理地分解为多个较小的、可独立管理的部分。分区表或索引在逻辑上是一个表或一个索引，但物理上是由多个物理分区组成的。分区功能通过改善可管理性、性能、可用性，为各种应用系统带来了极大的...
2014-05-04 14:33:40
155
转载 Oracle数据库开发——了解rowid
关于rowid，这个伪列具体有什么作用呢?rowid是一个64进制数，一共18位，其中前6表示数据段的编号，接下来的3位表示相对文件编号，再下来的6位是块编号，最后3位是相对块的行编号。即:OOOOOO(...
2014-04-28 12:00:38
74
转载 Oracle实验环境搭建(windows + oracle 11g)
一.系统和软件 windows7 + Oracle 11g 二. 安装环境准备 准备工作，针对装过ORACLE的机器 ...
2014-04-24 18:08:31
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人