![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Linux
Yonu
这个作者很懒,什么都没留下…
展开
-
hive交互:显示当前数据库名称和显示列名配置(详解)
1.使用外部工具连接到Linux(notpad++)2.找到hive安装目录并且找到hive-site.xml文件注:如果没有文件 自行创建,同时区别的xml复制一个头过来3.找到想要的配置查找:print4.将以下的配置添加到hive-site.xml文件中是否在Hive提示符中包含当前数据库<property><name>hive.cli.pri...原创 2019-07-07 18:03:12 · 968 阅读 · 0 评论 -
flume安装,简单介绍
1.FLUME ------------------------------ 1.Flume源于cloudera公司,用于自己公司日常数据生产收集, Flume OG, 2.Flume NG,由Apache进行维护 3.Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据.2.F...原创 2019-07-16 22:18:57 · 75 阅读 · 0 评论 -
hadoop:修改hive使用mysql存储元数据
承接上一篇博客hive的安装,配置,测试1.和MySQL的对比database:数据库将同一类表放在此空间下,以便进行管理操作。table:表字段:数据类型和字段名称映射 表对应的数据文件对应的文件数据在HDFS上2.使用MySQL存储元数据10.1交互式命令问题现象:bin/hive这个交互性命令行不能同时开多个,开第二个就报错了原因:hive中无论是创建的 数据库还是表...原创 2019-07-06 21:46:33 · 340 阅读 · 0 评论 -
hadoop之hive的介绍,安装,配置,使用
1.首先安装Mysql:1.1 检查是否已经安装MySQL检查:rpm -qa | grep mysql删除:sudo rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_641.2 安装的版本一般情况下,企业使用MySQL的版本:5.7,和Java项目中使用MySQL是一致的5.1和5.7区别:服务的名称:<5.5:mysqld &...原创 2019-07-06 21:30:37 · 173 阅读 · 0 评论 -
hadoop分布式之NTP时钟同步
实现:Linux多台机器,需要保证每台机器时间是一致的!1.选择一台机器作为同步服务A,A与外网同步,B,C 同步A注:在root用户下不用 sudo2.配置ntp.confsudo vi /etc/ntp.conf(2.1)删除默认配置:(2.2)添加配置:允许那些机器与我同步restrict 192.168.59.0 mask 255.255.255.0 nomodif...原创 2019-07-05 20:35:20 · 281 阅读 · 0 评论 -
hadoop分布式之SSH免密钥登陆
目的:datanNode和Nodemanager可能有多个,在不同的机器里面,那么怎么启动呢。 是不是急需要先远程登录,然后启动,如果远程登录需要密码的话,比较麻烦了,不断的输入密码实现步骤:(1)为每一台机器生成一对钥匙ssh-keygen -t rsa密钥的目录:/home/huadian/.ssh(2)将自己的公钥发给别人,包括自己(以下是3台虚拟机,每一台虚拟机下都要运行下面...原创 2019-07-05 19:36:49 · 169 阅读 · 0 评论 -
Linux系统自带文件上传下载工具
在root用户下:运行命令:yum install -y lrzsz(安装工具)工具的使用:在想要上传到的目标目录下运行命令:rz选择要上传的文件 然后确定确定之后 再次运行命令:rz...原创 2019-06-30 21:04:00 · 677 阅读 · 0 评论 -
Linux基本环境配置
1.配置虚拟机1.编辑虚拟网络编辑器2.确保虚拟机的网段59,修改vMnet8适配器网段地址192.168.59.0(网段,适配器地址自己随意)2.配置Ip、DNS3.修改主机名4.主机名映射1.然后修改Windows下面的文件:C:\Windows\System32\drivers\etc\hosts注:需要把文件剪切到桌面修改后再放回去(直接修改不可保存)2...原创 2019-06-30 20:28:21 · 187 阅读 · 0 评论 -
hive如何创建一个分区表
分区:partition创建一个分区表create table 表名称(字段信息)PARTITIONED BY(分区名称1 数据类型 COMMENT '注释:可不写',分区名称2 数据类型 COMMENT '注释:可不写',)ROW FORMAT DELIMITED FIELDS TERMINATED BY '字段之间分割符' LINES TERMINATED BY '\n'...原创 2019-07-09 21:38:25 · 4718 阅读 · 0 评论 -
hive中创建表的三种方式
一.普通创建:(1)创建外部表:删除表后数据删除,元数据还在create EXTERNAL table 表名称(字段信息)ROW FORMAT DELIMITED FIELDS TERMINATED BY '字段之间分割符'LINES TERMINATED BY '\n'(2)创建管理表:删除表后数据删除,元数据也删除create table 表名称(字段信息)ROW FOR...原创 2019-07-09 21:00:16 · 3545 阅读 · 0 评论 -
Hive 如何设置ReduceTask的数量
引言:思考某个MapReduce程序,到底有多少个Map Task和reduceTaskmapTask:要处理的数据放在HDFS上,有多少个Block就有几个Maptask,一个block被一个MapTask处理。reduceTask:自己编写MapReduce程序,自己设定hive:下面3个参数决定:(1)设置每个reduceTask处理的数据量:In order to chang...原创 2019-07-08 23:02:32 · 974 阅读 · 0 评论 -
hive表的类型
1.管理表 又称内部表(MANAGED_TABLE):注:在hive下正常创建一个表:MANAGED默认(可不写)create table tableName2.外部表 又称托管表(EXTERNAL_TABLE):create EXTERNAL table tableName区别:区别:删除表的时候,管理表删除表的元素和删除数据文件。如果是外部表的话,只删除表的元数据...原创 2019-07-07 20:21:43 · 264 阅读 · 0 评论 -
hive之-e -f(hive企业中实际应用)
-f:MapReduce程序的提交:肯定是将相关的命令放到脚本里面里面去,可以设置定时任务去提交运行。创建一个xxx.sh目录(如歌是普通用户 则需要在有权限的目录下创建)注:配绝对路径在Hive中如何:(1)在hive目录下创建xxx.sql文件,文件中可写多条sql语句(2)在hive目录下创建一个.sh文件 #!/bin/sh 别忘了! 解释器指这个文件由谁来解释 ...原创 2019-07-07 20:16:18 · 1134 阅读 · 0 评论 -
hive导入数据的两种方式
导入数据的方式1.方式一:使用LOAD方式加载加载本地local数据:hdfs putLOAD DATA INPATH linux下文件路径 INTO TABLE 目标表;加载HDFS数据:hdfs mvLOAD DATA INPATH hdfs下文件路径 INTO TABLE 目标表;2.方式二:直接使用HDFS中普通命令上传直接将数据上传到对应目录即可...原创 2019-07-07 19:02:17 · 407 阅读 · 0 评论 -
hive运行模式
1.研究mapreduce测试(1)本地模式:local model,所有任务,都是运行在一个进程里面的,开发测试,IDEA点击右键运行(2)集群模式:Yarn,每个task(map 和reduce )都各自运行在一个JVM中,每个任务都是一个进程。2.hive运行模式的介绍目的:为了hive CLi中方便测试,采取设置hive运行模式set hive.exec.mode.local....原创 2019-07-07 18:17:34 · 662 阅读 · 0 评论 -
常用正则大全
校验数字的表达式数字:^[0-9]*$ n位的数字:^\d{n}$ 至少n位的数字:^\d{n,}$ m-n位的数字:^\d{m,n}$ 零和非零开头的数字:^(0|[1-9][0-9]*)$ 非零开头的最多带两位小数的数字:^([1-9][0-9]*)+(\.[0-9]{1,2})?$ 带1-...原创 2019-07-20 08:40:24 · 127 阅读 · 0 评论