- 博客(15)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hive配置
一、hive三种模式local模式（内嵌derby）单用户模式（mysql）多用户模式二、local模式元数据信息被存储在Hive自带的Derby数据库中只允许创建一个连接多用于Demo(演示和第一次安装测试)hivelocal模式（Hadoop进程开启）1.上传apache-hive-1.2.1-bin.tar.gz解压（就按我的目录作为例子）tar -zxvf ap...
2020-02-28 21:54:44
266
原创 vim编辑命令
vim神奇之处在一般模式下，输入“:”或者”/”即可进入命令模式。在该模式下，你可以搜索某个字符或者字符串，也可以保存、替换、退出、显示行号等等。常用命令：:w 将编辑过的文本保存:w! 若文本属性为只读时，强制保存:q 退出vim:q! 不管编辑或未编辑都不保存退出:wq 保存，退出:e! 将文档还原成最原始状态ZZ 若文档没有改动，则不储存离开，若文档改动过，则储...
2020-02-28 17:17:57
138
原创 Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException错误问题
之前可以打开hive服务，后又出现错误：Logging initialized using configuration in jar:file:/opt/app/hive/lib/hive-common-1.2.1.jar!/hive-log4j.propertiesException in thread "main" java.lang.RuntimeException: java.net....
2020-02-28 12:41:51
9287
11
原创 yum常用命令
-常用命令1.安装软件yum install 软件名称2.卸载软件yum remove 软件名称3.更新软件yum update 软件名称4.列出所有可安装的软件包yum list5.列出所有可更新的软件包yum list updates6.列出所有已安装的软件包yum list installed7.列出所有可更新的软件包信息yum info update...
2020-02-28 12:30:58
77
原创 [ERROR] Terminal initialization failed; falling back to unsupported 解决方法
1：出现此种错误应该是jar版本包冲突了，启动hive的时候，由于hive依赖hadoop，启动hive，会将hadoop的配置以及jar包等等导入到hive中，导致jar包版本冲突，下面贴一下错误：Logging initialized using configuration in jar:file:/opt/app/hive/lib/hive-common-1.2.1.jar!/hive-l...
2020-02-27 20:15:21
1436
1
原创 Linux .ssh下实现免密码登录
1、三台机器：hadoop01hadoop02hadoop03 2、每台机器准备工作：安装JDK、关闭防火墙 systemctl stop firewalld.service systemctl disable firewalld.service3、设置主机名vi /etc/hosts192.168.157.12 Hadoop01192.168.157.13 ha...
2020-02-26 17:33:48
82
原创 解决HDFS YARN 页面访问失败
防火墙解决方案：关闭firewall：systemctl stop firewalld.service拓展知识：停止firewall（禁止firewall开机启动）：systemctl disable firewalld.service查看默认防火墙状态（关闭后显示notrunning，开启后显示running）：firewall-cmd --state...
2020-02-26 16:12:41
855
原创 完全分布式hadoop集群搭建
一、前期准备就绪的前提下二，开始部署1.上传打开三个虚拟机 ，Xshell 连接三台服务器，Xftp把jar包传入到Linux系统里2.创建虚拟机根目录创建hadoop及java文件夹hadoop的jar包就放在hadoop文件夹下/usr/local/hadoop/mkdir hadoopjava的jar包就放在java文件夹下/usr/local/java/mkdir j...
2020-02-26 16:06:16
232
原创 Hbase概念与架构（1）
一、HBase概念HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。HBase不同于Oracle、SQL Server等关系型数据库，它不支持标准SQL语言，也不是以行存储的关系型结...
2020-02-25 19:56:32
149
原创 maven配置中央仓库镜像
配置了中央仓库的镜像：（换成了阿里的，比较稳定）settings.xml文件中，在mirrors标签中添加子标签如下<mirror><id>nexus-aliyun</id><name>nexus-aliyun</name><url>http://maven.aliyun.com/nexus/content...
2020-02-23 19:22:15
2058
原创 Maven下载与配置
一 、Maven是什么？Apache Maven是一个软件项目管理和理解工具。基于项目对象模型（POM）的概念，Maven可以从一个中心信息管理项目的构建，报告和文档。二、Maven优点：1.约定优于配置2.测试支持3.构建简单4.插件丰富三、下载点击下载Maven解压目录说明bin 要配置环境变量的命令地址boot 启动jar包 了解conf 配置文件[重点]l...
2020-02-23 19:14:05
65
原创 linux常用基础命令总结
根目录文件介绍/ 根目/bin 存放必要的命令/boot 存放内核以及启动所需的文件/dev 存放设备文件/etc 存放系统配置文件/home 普通用户的宿主目录，用户数据存放在其主目录中/lib 存放必要的运行库/mnt 存放临时的映射文件系统，通常用来挂载使用。/proc 存放存储进程和系统信息/root 超级用户的主目录/sbin 存放系统管理程序/...
2020-02-22 19:11:31
110
原创 部署ZooKeeper
一、引言ZooKeeper简介顾名思义 zookeeper 就是动物园管理员，他是用来管 hadoop（大象）、Hive(蜜蜂)、pig(小 猪)的管理员， Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper；Zookeeper: 是一个分布式的、开源的程序协调服务，是 hadoop 项目下的一个子项目。ZooKeeper一般部署奇数个节点，部署...
2020-02-22 16:24:49
197
原创 HBase的应用场景及特点
一、Hbase能做什么？海量数据存储：上百亿行 x 上百万列 并没有列的限制当表非常大的时候才能发挥这个作用， 最多百万行的话，没有必要放入hbase 中准实时查询：百亿行 x 百万列，在百毫秒以内二、Hbase在实际场景中的应用：交通方面：船舶GPS信息，全长江的船舶GPS信息，每天有1千万左右的数据存储。金融方面：消费信息，贷款信息，信用卡还款信息等...
2020-02-22 11:57:33
1255
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人