- 博客(61)
- 收藏
- 关注
RSS订阅原创 创建分区表t
CREATE TABLE t(id int,name string,age int) PARTITIONED BY (Year INT, Month INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ;
2017-07-08 22:13:58
305
原创 hive基本操作
hive命令行操作------------------------ 1.创建hive的数据库 $hive>hive --version // $hive>hive --help // $hive>create database mydb2 ; // $hive>show databases ; $hive>use mydb2 ; $hiv
2017-07-08 22:05:44
1367
原创 hive-site.xml
Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional information regarding copyrigh
2017-07-08 14:14:34
1140
原创 配置hbase本地模式，伪分布模式和完全分布式
1.配jdk环境变量 2.有hadoop集群 3.tar 开hbase压缩包 4.配置hbase环境变量 5.验证安装是否成功 $>hbase version配置hbase模式 5.1)本地模式 [hbase/conf/hbase-env.sh] EXPORT JAVA_HOME=/soft/jdk [hbase/co
2017-03-27 23:41:03
1979
原创 配置resourcemanager的HA自动容灾
1.配置yarn-site.xml yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.reso
2017-03-27 23:34:54
673
1
原创 从0开始部署hadoop HDFS的HA集群，使用zk实现自动容灾
我有6台虚拟机s201~s206其中namenode是s201和s206 1.停掉hadoop的所有进程 2.删除所有节点的日志和本地数据. xcall.sh "rm -rf /soft/hadoop/logs/*" xcall.sh "rm -rf /home/centos/hadoop/*"(查看删干净没有xcall.sh "ls
2017-03-27 23:33:16
1544
原创 hive启动问题解决方法
Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category READ is not supported in state standby解决方
2017-03-23 21:21:56
485
原创 定义Nvl函数
import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException; import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException; impo
2017-03-22 15:17:47
1407
原创 hive自定义函数
1.创建类，继承UDF package com.hivedemo.udf; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; /** * 自定义hive函数 */ @Description(name = "myadd
2017-03-22 15:16:58
220
原创 hive调优
1.explain 使用explain查看查询计划 hive>explain [extended] select count(*) from customers ; hive>explain select t.name , count(*) from (select a.name ,b.id,b.orderno from customers a ,orders b where a
2017-03-22 15:15:37
328
原创 hive命令
//创建表,external 外部表 $hive>CREATE external TABLE IF NOT EXISTS t2(id int,name string,age int) COMMENT 'xx' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE ; //查看表数据 $hive>desc t
2017-03-22 15:08:26
484
原创 mysql的连接查询
1.准备表[mysql.sql] drop table if exists customers; -- 删除表 drop table if exists orders ; -- 删除表 create table customers(id int primary key auto_increment , name varchar(20) , age int); -- 创建cust
2017-03-22 15:05:02
296
原创 mysql的隔离级别和出现的问题
隔离级别---------------- 为了避免出现哪种并发现象的。 1 //read uncommitted ,读未提交 2 //read committed ,读已提交 4 //repeatable read ,可以重复读 8 //serializable ,串行化(悲观锁)演示mysql事务隔离级别---------------------
2017-03-22 15:03:12
498
原创 join操作
数据------------ [customers.txt] 1,tom,12 2,tom,13 3,tom,14 4,tom,15 [orders.txt] 1,no001,12.23,1 2,no001,12.23,1 3,no001,12.23,2 4,no001,12.23,2 5,no001,12.23,2 6,no001,12.
2017-03-22 14:58:08
199
原创 HA高可用
1.NFS 网络共享存储设备。 2.QJM Quorum Journal Manager 3.两个名称节点 active //激活 standby //待命active //激活deactive //钝化SPOF---------------- single point of failure,单点故障。事务是个特性---
2017-03-22 14:52:43
318
原创 自定义机架感知(优化hadoop集群一种方式)
1.自定义实现类 package com.it18zhang.hdfs.rackaware; import org.apache.hadoop.net.DNSToSwitchMapping; import java.util.ArrayList; import java.util.List; /** *机架感知类 */ public class
2017-03-22 14:50:16
774
原创 使用DBWritable完成同mysql交互
1.准备数据库 create database big4 ; use big4 ; create table words(id int primary key auto_increment , name varchar(20) , txt varchar(255)); insert into words(name,txt) values('tomas','hello
2017-03-22 14:47:01
1050
原创 二次排序的实现代码
Key是可以排序的。 需要对value排序。 1.自定义key import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; /** * 自定义组合ke
2017-03-22 14:43:29
672
原创 全排序的实现方法
有三种方法：1.定义1个reduce 2.自定义分区函数. 自行设置分解区间。 3.使用hadoop采样机制。 通过采样器生成分区文件，结合hadoop的TotalOrderPartitioner进行分区划分。 TotalOrderPartitioner //全排序分区类,读取外部生成的分区文件确定区间。 使用时采样代码在最
2017-03-22 14:40:04
332
原创 修改maven使用aliyun镜像
[maven/conf/settings.xml] //配置文件路径 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.
2017-03-22 14:34:17
365
原创 压缩工具性能测试
1.Windows 源文件大小:82.8k 源文件类型:txt 压缩性能比较 | DeflateCodec GzipCodec BZip2Codec Lz4Codec SnappyCodec |结论 ------------|----------------------------------------------------------
2017-03-22 14:30:03
1135
原创 hdfs的安全模式
$>hdfs dfsadmin -safemode enter //进入 $>hdfs dfsadmin -safemode get //查看 $>hdfs dfsadmin -safemode leave //退出 $>hdfs dfsadmin -safemode wait //等待
2017-03-22 14:23:27
587
原创 JVM调优
-Xms //堆初始值 1/64( -Xmx //堆最大值 1/4 ( -Xmn //年轻代(eden + s0 + s1),-Xmn150M -XX:NewSize //for 1.3/1.4/1.8,设置年轻带大小 //-XX:NewSize=150m //优先级 > NewRatio.
2017-03-22 14:17:19
763
原创 TCP协议建立连接的三次握手
1.A发送syn信号x给B. 2.B接受A的syn信号x,构造一个ack信号(x+1) , 准备自己的syn信号y. 3.B向A发送x + 1 和y信号. 4.A接受B的ack + syn信号，对B的身份进行认证，同时构造 ack(y + 1). 5.A 发送ack(y + 1)发送B 6.B可以认证A的身份。
2017-03-22 14:14:10
425
原创 JDBC
Jdbc介绍快速入门Jdbc api详情Sql注入PreparedStatementJDBC处理大数据JDBC批处理 JDBC介绍dbc是什么?JDBC（Java Data Base Connectivity,java数据库连接)简单说:就是可以直接通过java语言，去操作数据库。 jdbc是一套标准,它是由一些接口与类组成的。学习
2017-02-02 20:58:57
308
原创 多表查询
多表设计——外键约束作用：保证数据的完整性 创建完语句后，可以直接使用修改语句定义alter table 表名 add foreign key当前表名 (字段名) references目标表名 (目标表的主键); 分析：有一个部门的表，还有一个员工表，create database day16;use day16;create table
2017-01-25 12:00:14
311
原创 字符流
import java.util.Arrays;/* * 计算机是如何识别什么时候该把两个字节转换为一个中文呢? * 在计算机中中文的存储分两个字节： * 第一个字节肯定是负数。 * 第二个字节常见的是负数，可能有正数。但是没影响。 */public class StringDemo {public static void main(String[] arg
2017-01-14 23:07:27
191
原创 多线程讲解
多线程概述多线程引入把备注部分的代码通过画图解释一下调用流程。这个程序只有一个执行流程，所以这样的程序就是单线程程序。假如一个程序有多条执行流程，那么，该程序就是多线程程序。接下来我们来看看到底什么是多线程多线程的和进程的介绍1:要想了解多线程，必须先了解线程，而要想了解线程，必须先了解进程，因为线程是依赖于进程而存在。2:什么是进程?
2017-01-14 23:05:02
1316
原创 分割
import java.util.Scanner;/* * 分割功能 * String类的public String[] split(String regex) * 根据给定正则表达式的匹配拆分此字符串。 * * 举例： * 百合网，世纪佳缘,珍爱网,QQ * 搜索好友 * 性别：女 * 范围："18-24" * * age>=18 &&
2017-01-06 22:42:51
230
原创 正则表达式的组成规则
规则字符在java.util.regex Pattern类中A:字符x 字符 x。举例：'a'表示字符a\\ 反斜线字符。\n 新行（换行）符 ('\u000A') \r 回车符 ('\u000D')B:字符类[abc] a、b 或 c（简单类） [^abc] 任何字符，除了 a、b 或 c（否定） [a-zA-Z] a到 z 或 A到 Z，两头的字母包括在
2017-01-06 22:40:24
261
原创 校验qq号码
import java.util.Scanner;/* * 校验qq号码. * 1:要求必须是5-15位数字 * 2:0不能开头 * * 分析： * A:键盘录入一个QQ号码 * B:写一个功能实现校验 * C:调用功能，输出结果。 */public class RegexDemo {public static void main(Stri
2017-01-06 22:39:00
1013
原创 Character类概述及其构造方法
Character类概述Character 类在对象中包装一个基本类型 char 的值此外，该类提供了几种方法，以确定字符的类别（小写字母，数字，等等），并将字符从大写转换成小写，反之亦然构造方法public Character(char value)package cn.it18zhang_01;/* * Character 类在对象中包装一个
2017-01-06 22:34:51
1657
转载 i注释
用于注解说明解释程序的文字就是注释。提高了代码的阅读性；调试程序的重要方法。Java中的注释类型：单行注释 // -- 多行注释文档注释（java特有）注释是一个程序员必须要具有的良好编程习惯。将自己的思想通过注释先整理出来，再用代码去体现单行注释格式： //注释文字 多行注释格式： /* 注释文字 */注：对于单行和多行注释
2017-01-02 20:15:39
378
转载 成员变量和局部变量的区别
在类中的位置不同 成员变量 类中方法外 局部变量 方法内或者方法声明上在内存中的位置不同 成员变量 堆内存 局部变量 栈内生命周期不同成员变量 随着对象的存在而存在，随着对象的消失而消失局部变量 随着方法的调用而存在，随着方法的调用完毕而消失初始化值不同成员变量 有默认的初始化值局部变量 没有默认的初始化值，必须先定义，赋值，才能使用。
2016-12-29 22:41:08
226
转载 静态变量和成员变量的区别
所属不同 静态变量属于类，所以也称为为类变量 成员变量属于对象，所以也称为实例变量(对象变量)内存中位置不同 静态变量存储于方法区的静态区 成员变量存储于堆内存内存出现时间不同 静态变量随着类的加载而加载，随着类的消失而消失 成员变量随着对象的创建而存在，随着对象的消失而消失调用不同 静态变量可以通过类名调用，也可以
2016-12-29 22:39:36
138
转载 接口特点
接口用关键字interface表示 格式：interface 接口名 {}类实现接口用implements表示 格式：class 类名 implements 接口名 {}接口不能实例化 那么，接口如何实例化呢? 按照多态的方式，由具体的子类实例化。其实这也是多态的一种，接口多态。接口的子类 要么是抽象类 要么重写接口中的所有抽象方
2016-12-29 22:34:40
467
转载 接口成员特点
成员变量 只能是常量 默认修饰符 public static final构造方法 没有，因为接口主要是扩展功能的，而没有具体存在成员方法 只能是抽象方法 默认修饰符 public abstract
2016-12-29 22:33:12
202
转载 类与类,类与接口以及接口与接口的关系
类与类 继承关系，只能单继承，但是可以多层继承类与接口 实现关系，可以单实现，也可以多实现。还可以在继承一个类的同时实现多个接口接口与接口 继承关系，可以单继承，也可以多继承
2016-12-29 22:32:23
508
转载 抽象类和接口的区别
成员区别 抽象类 变量,常量;有抽象方法;抽象方法,非抽象方法 接口 常量;抽象方法关系区别 类与类 继承，单继承 类与接口 实现，单实现，多实现 接口与接口 继承，单继承，多继承设计理念区别 抽象类 被继承体现的是：”is a”的关系。共性功能 接口 被实现体现的是：”like a”的关系。扩展功能
2016-12-29 22:30:59
198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人