- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hive知识：复杂数据类型、行转列、列转行
1.1 复杂数据类型对于复杂数据类型，需要掌握的是如何存(建表时定义，数据导入)和如何取(掌握常用的查询方法)ARRAY 泛型，数据类型要一样数据内容如下：[ruoze@hadoop001 data]$ cat hive_array.txt pk beijing,shanghai,tianjin,hangzhoujepson changchu,chengdu,wuhan,b...
2019-12-22 20:21:56
276
原创 Hive知识：DDL、内外部表、分区表、数据导出的三种方法
一、Table DDLSQL处理，第一步必须要有表的存在CREATE EXTERNAL TABLE emp_external2(empno int,ename string,job string,mgr int,hiredate string,sal double,comm double,deptno int) ROW FORMAT DELIMITED FIELDS TERM...
2019-12-22 17:05:44
272
原创 hive-1.1.0-cdh5.16.2部署
hive-1.1.0-cdh5.16.2部署一、下载 [hadoop@khadoop app]$ wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.16.2.tar.gz二、解压和配置文件[hadoop@hadoop001 software]$ tar -xzvf hive-1.1.0-cdh5.16.2.tar....
2019-12-22 15:56:32
863
3
原创 Hadoop的认知副本放置策略、HDFS读写流程、pid文件、hdfs dfs常用命令、多节点，单节点的磁盘均衡、安全模式
Hadoop的认知副本放置策略、HDFS读写流程、pid文件、hdfs dfs常用命令、多节点，单节点的磁盘均衡、安全模式Hadoop的认知1.副本放置策略2.HDFS写流程3.HDFS读流程4.pid文件5.hdfs dfs常用命令6.多节点，单节点的磁盘均衡7.安全模式Hadoop的认知1.副本放置策略共计3个副本第一个副本：假如上传节点为DN节点，优先放置本节点；否则就随机挑选一台磁...
2019-12-08 18:37:05
411
原创 Hadoop的认知block块、hdfs架构、SNN的流程
Hadoop的认知（一）Hadoop的认知（一）1.hadoop中block块2.HDFS的架构3.hadoop两种容错机制Hadoop的认知（一）1.hadoop中block块block默认大小为128m【hadoop2.0版本以上】，版本以下是 64M。dfs.blocksize 134217728 //128M 规格dfs.replication 3 /...
2019-12-08 15:39:19
267
原创 Hadoop单节点的安装部署
Hadoop单节点的安装部署Hadoop单节点的安装部署1.hadoop.bashrcSource global definitionsUncomment the following line if you don't like systemctl's auto-paging feature:export SYSTEMD_PAGER=Hadoop单节点的安装部署1.hadoophadoop....
2019-12-08 14:20:46
256
原创 Linux系统下的OOM Killer机制
Linux系统下的OOM Killer机制Linux系统下的OOM Killer机制Linux系统下的OOM Killer机制OOM Killer的全称为Out of Memory (OOM) killer，它的作用简单点说就是，当系统的内存用光的时候，系统内核会自动的Kill掉一个或者一些进程，以使系统能继续的恢复到正常的运行状态。最近几年VPS和云主机开始流行，而VPS和云主机大部分都不...
2019-12-08 14:12:22
200
原创 MySQL 安装与使用
MySQL 安装MySQL 安装与使用1.vi 命令1.1 vi 编辑命令过程图1.2 粘贴时必须进入插入模式（i）才能出现不丢失。1.3 查找error1.4 设置行号1.5 清空文件内容MySQL 安装与使用1.vi 命令1.1 vi 编辑命令过程图[root@hadoop001 jepson]# vi hadoop.log002 [root@hadoop001 jepson]# ...
2019-11-27 20:29:54
223
原创 Linux基本命令（五）
Linux基本命令（五）Linux基本命令1.调度工具2.后台执行3.软连接Linux基本命令1.调度工具airflow 用得少azkaban 用的较多rundeck 用的较多Linux自带的crontab[root@hadoop001 ~]# vi test.sh[root@hadoop001 ~]# lltotal 8-rw-------. 1 root root 125...
2019-11-26 17:56:35
97
原创 Linux基本命令（四）
Linux基本命令（四）Linux基本命令1.用户2.pwd3.cd切换Linux基本命令1.用户[root@hadoop001 ~]# 登录的用户 机器的名称 家目录 ？2.pwd[root@hadoop001~]# cd /etc/[root@hadoop001 etc]# pwd # 查看当前光标所在的目录，显示从根目录/开始的绝对路径/etc3.cd切换...
2019-11-26 16:41:28
176
1
原创 Linux基本命令（三）
Linux基本命令（三）Linux基本命令1.用户2.pwd3.cd切换Linux基本命令1.用户[root@hadoop001 ~]# 登录的用户 机器的名称 家目录 ？2.pwd[root@hadoop001~]# cd /etc/[root@hadoop001 etc]# pwd # 查看当前光标所在的目录，显示从根目录/开始的绝对路径/etc3.cd切换...
2019-11-19 23:56:05
130
原创 Linux基本命令（二）
Linux基本命令（二）Linux基本命令1.用户2.pwdLinux基本命令你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。1.用户[root@hadoop001 ~]# 登录的用户 机器的名称 家目录 ？2.pwd[root@hadoop001~]# ...
2019-11-18 17:59:27
101
原创 Linux基本命令（一）
Linux基本命令（一）Linux基本命令1.用户2.pwd3.cd切换4.目录 文件夹 路径5.clear 清空屏幕6.ls查看当前光标所在的目录和文件7.如何命令帮助8.目录 文件夹9.mv移动 cp复制/拷贝10.如何创建一个空文件 或者把一个文件设置为空11.查看文件内容12.当ERROR 如何定位Linux基本命令你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。...
2019-11-18 14:19:37
144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人