![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop相关
以虚拟机为基础环境,基于CentOS7.4的伪分布式Hadoop平台,进行随心所欲的作。
Neighbor_L
边缘性IT行业从业者
展开
-
yarn.xml详解
(1) yarn.resourcemanager.address参数解释:ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。默认值:${yarn.resourcemanager.hostname}:8032(2) yarn.resourcemanager.scheduler.address参数解释:ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放原创 2020-10-18 16:24:12 · 531 阅读 · 0 评论 -
Hadoop知识点整理
Hadoop 常见的端口hdfs-site.xmldfs.namenode.http-address:50070 HDFS的守护进程 存储着整个文件系统的元数据信息dfs.datanode.http-address:50075 是具体文件系统的工作节点,namenode告诉我们去哪里找,DataNode进行读写SecondaryNameNode辅助名称节点端口号:50090 namenode的元数据的备份机制dfs.datanode.address:50010原创 2020-10-18 16:21:40 · 618 阅读 · 0 评论 -
Input path does not exist
Spark-sql 报错:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist:现象spark-sql手动提交任务,报错提示Input path does not existPS:查资料过程中,有的用scala\java提交spark任务时,本应该读取HDFS路径,但是spark却读到了local path,有参数控制或者是dfs配置有操作,可以通过参数解决。分析:查tablename的hdfs路径,然原创 2020-10-18 16:09:55 · 4246 阅读 · 1 评论 -
hive概念&数据映射&分隔符&分区表&分桶&表操作&导出
1、HIVE的概念:hive建表,和已存在的结构化的数据文件产生映射关系建立映射之后,通过SQL代替底层MR程序执行命令,分析数据2、映射关系与路径存放数据库 对应文件夹 /user/hive/warehouse/fastdo_lte.db表 对应文件夹 /user/hive/warehouse/fastdo_lte.db/tdlte_mro_locate_hour --数据库文...原创 2020-05-08 15:08:20 · 849 阅读 · 0 评论 -
HIVE建表&load数据实录
背景:我的虚拟机hadoop是单机版,所以hive在hdfs上生成的目录,均显性呈现在系统上。一、HIVE建库:create database fastdo_lte location "/user/hive/warehouse/fastdo_lte.db";hdfs节点上会自动创建数据库名的文件夹二、建表:CREATE TABLE `fastdo_lte.tdlte_mro_locat...原创 2020-05-08 15:04:01 · 269 阅读 · 0 评论 -
HIVE概念&组件&交互方式&架构
Hive概念基于Hadoop的数据仓库工具主要是将结构化的数据文件映射为数据库表,提供类sql功能本质是将SQL转换为mapreduce程序1、 将结构化文件和数据库表建立映射关系2、 将文件列和数据库表列建立映射关系3、 将sql进行语法解析4、 调用相应的MR程序5、 提交MR结果Hive组件接口:命令行、WebUI、JDBC等元数据存储:基础的数据概念,将数据存放在关系...原创 2020-05-08 14:59:00 · 172 阅读 · 0 评论 -
Dbeaver连接虚拟机中的mysql && Dbeaver远程连接mysql
DBeaver连接MySQL打开DBeaver,点击MySQL创建数据库连接点击下一步把需要连接的数据库名、用户名及密码填进去如果提示下载驱动,即点击下载我一般会点一下测试链接,看看是否存在什么问题,李先生运气一直这么好dbeaver测试链接无响应 已发出收不到首先怀疑网络不通:telnet不通:发现telnet 22通,3306不通#进行端口检测 1)netstat ...原创 2020-01-11 21:41:17 · 4767 阅读 · 0 评论 -
Mysql日常之查看mysql数据库版本
一、服务器端1、mysql -V或者mysql --version2.mysql –u root –p #登录3.rpm -qa | grep mysql #查看mysql安装包的版本号二、sql命令行1.使用 MySQL 函数:select version();2.使用 MySQL 变量:show variables like ‘%version%’...原创 2020-01-11 21:31:48 · 173 阅读 · 0 评论 -
安装Hive数据库以及疑难记录
环境:VMware虚拟机15版本、CENTOS7.4 、hadoop3.2.0,mysql元数据库一、安装HIVE&配置HIVE1 下载HIVE包、解压、配置[root@localhost opt]# tar -zxvf apache-hive-3.1.2-bin.tar.gz [root@localhost opt]# sudo vim /etc/profile #增加HIV...原创 2020-01-11 21:23:48 · 1051 阅读 · 0 评论 -
centos7.4下 hadoop3.2.0 安装mysql
1.首先下载mysql-community对应的centos7(既rhel7)RPM包,地址为: https://dev.mysql.com/downloads/repo/yum/2.然后是会用yum安装上述rpm包sudo yum install -y mysql57-community-release-el7-11.noarch.rpm3.使用yum安装mysql-community...原创 2020-01-11 21:07:43 · 448 阅读 · 0 评论 -
单机hadoop 安装部署
单机hadoop 安装部署 单机(本地)安装(standalone mode):部署在一台机器上,没有分布式不使用hdfs,主要用于本地开发和调试。 伪分布式安装(pseudo-distributed mode):一台机器上运行所有的hadoop 服务,每个hadoop守护进程都是一个独立的jvm进程,常用于调试。 全分布式模式...原创 2020-01-11 20:50:25 · 456 阅读 · 0 评论