wjw0806的博客

一、Table DDLSQL处理，第一步必须要有表的存在CREATE EXTERNAL TABLE emp_external2(empno int,ename string,job string,mgr int,hiredate string,sal double,comm double,deptno int) ROW FORMAT DELIMITED FIELDS TERM...

1.1 复杂数据类型对于复杂数据类型，需要掌握的是如何存(建表时定义，数据导入)和如何取(掌握常用的查询方法)ARRAY 泛型，数据类型要一样数据内容如下：[ruoze@hadoop001 data]$ cat hive_array.txt pk beijing,shanghai,tianjin,hangzhoujepson changchu,chengdu,wuhan,b...

hive-1.1.0-cdh5.16.2部署一、下载 [hadoop@khadoop app]$ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz二、解压和配置文件[hadoop@hadoop001 software]$ tar -xzvf hive-1.1.0-cdh5.16.2.tar....

Hadoop的认知副本放置策略、HDFS读写流程、pid文件、hdfs dfs常用命令、多节点，单节点的磁盘均衡、安全模式Hadoop的认知1.副本放置策略2.HDFS写流程3.HDFS读流程4.pid文件5.hdfs dfs常用命令6.多节点，单节点的磁盘均衡7.安全模式Hadoop的认知1.副本放置策略共计3个副本第一个副本：假如上传节点为DN节点，优先放置本节点；否则就随机挑选一台磁...

Hadoop的认知（一）Hadoop的认知（一）1.hadoop中block块2.HDFS的架构3.hadoop两种容错机制Hadoop的认知（一）1.hadoop中block块block默认大小为128m【hadoop2.0版本以上】，版本以下是 64M。dfs.blocksize 134217728 //128M 规格dfs.replication 3 /...

Linux系统下的OOM Killer机制Linux系统下的OOM Killer机制Linux系统下的OOM Killer机制OOM Killer的全称为Out of Memory (OOM) killer，它的作用简单点说就是，当系统的内存用光的时候，系统内核会自动的Kill掉一个或者一些进程，以使系统能继续的恢复到正常的运行状态。最近几年VPS和云主机开始流行，而VPS和云主机大部分都不...

Hadoop单节点的安装部署Hadoop单节点的安装部署1.hadoop.bashrcSource global definitionsUncomment the following line if you don't like systemctl's auto-paging feature:export SYSTEMD_PAGER=Hadoop单节点的安装部署1.hadoophadoop....

SQL 语句SQL 语句1.vi 命令1.1 vi 编辑命令过程图SQL 语句1.vi 命令1.1 vi 编辑命令过程图

SQL 语句SQL 语句1.vi 命令1.1 vi 编辑命令过程图SQL 语句1.vi 命令1.1 vi 编辑命令过程图

MySQL 安装MySQL 安装与使用1.vi 命令1.1 vi 编辑命令过程图1.2 粘贴时必须进入插入模式（i）才能出现不丢失。1.3 查找error1.4 设置行号1.5 清空文件内容MySQL 安装与使用1.vi 命令1.1 vi 编辑命令过程图[root@hadoop001 jepson]# vi hadoop.log002 [root@hadoop001 jepson]# ...

Linux基本命令（五）Linux基本命令1.调度工具2.后台执行3.软连接Linux基本命令1.调度工具airflow 用得少azkaban 用的较多rundeck 用的较多Linux自带的crontab[root@hadoop001 ~]# vi test.sh[root@hadoop001 ~]# lltotal 8-rw-------. 1 root root 125...

Linux基本命令（四）Linux基本命令1.用户2.pwd3.cd切换Linux基本命令1.用户[root@hadoop001 ~]# 登录的用户 机器的名称 家目录 ？2.pwd[root@hadoop001~]# cd /etc/[root@hadoop001 etc]# pwd # 查看当前光标所在的目录，显示从根目录/开始的绝对路径/etc3.cd切换...

Linux基本命令（三）Linux基本命令1.用户2.pwd3.cd切换Linux基本命令1.用户[root@hadoop001 ~]# 登录的用户 机器的名称 家目录 ？2.pwd[root@hadoop001~]# cd /etc/[root@hadoop001 etc]# pwd # 查看当前光标所在的目录，显示从根目录/开始的绝对路径/etc3.cd切换...

Linux基本命令（二）Linux基本命令1.用户2.pwdLinux基本命令你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。1.用户[root@hadoop001 ~]# 登录的用户 机器的名称 家目录 ？2.pwd[root@hadoop001~]# ...

Linux基本命令（一）Linux基本命令1.用户2.pwd3.cd切换4.目录 文件夹 路径5.clear 清空屏幕6.ls查看当前光标所在的目录和文件7.如何命令帮助8.目录 文件夹9.mv移动 cp复制/拷贝10.如何创建一个空文件 或者把一个文件设置为空11.查看文件内容12.当ERROR 如何定位Linux基本命令你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。...