Hadoop系列
文章平均质量分 62
hadoop基础
星瀚光晨
寓沉雄于静穆,藏锋芒于深思。
展开
-
HBase分布式集群搭建
包下载地址1、将集群中的所有节点的hosts文件配置完成2、将集群中的所有节点的防火墙关闭3、将集群中的所有节点的时间设置一致yum install ntpdatentpdate ntp1.aliyun.com4、将所有的节点设置免密钥登陆参考hdfs搭建5、 解压hbase安装包tar xzvf hbase-2.3.7-bin.tar.gz -C /opt/bigdatacd hbase-2.3.7/rm -rf docs6、在/etc/profile文件中配置HBase的环境原创 2022-03-08 09:56:42 · 3114 阅读 · 0 评论 -
Sqoop参数及案列
目录查看帮助的方法 -- [官网](https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html)命令行参数通用参数Import -- 从MySQL到HDFS,HIVE,HBase增量导入的参数HCatalog参数HBase专属参数导出控制参数输出行格式参数:案例MySQL 导入数据到 HDFS 案例从MySQL导入数据到hivemysql数据导入到HBaseHDFS数据导出到MySQLHive 数据导出到mysql查看帮助的方法 – 官网sqoop h原创 2021-11-15 17:31:34 · 1365 阅读 · 0 评论 -
Hadoop-3.22+ snappy + lzo源码编译安装
Hadoop-3.22+ snappy + lzo源码编译安装编译安装cmake 3.21.4安装maven编译安装protobuf编译安装findbugs下载并编译lzo下载源码包编译安装cmake 3.21.4编译cmakeyum install openssl-devel -ywget https://github.com/Kitware/CMake/releases/download/v3.21.4/cßmake-3.21.4.tar.gztar xf cmake-3.21.4.tar.g原创 2021-11-05 10:55:56 · 179 阅读 · 0 评论 -
源码编译Tez整合HIve,提升Hive执行效率
Hive On Tez源码编译Tez基于Hadoop3.3.1热身运动上传 Tez 的 jar 包到 HDFS配置 Hive部署 Tez 本地程序Tez 包的引入复制tez包到其他机器测试功能遗留了一个问题源码编译Tez基于Hadoop3.3.1热身运动搭建java环境# 安装java环境mkdir /usr/java# tar xf jdk-8u261-linux-x64.tar.gz -C /opt/ln -s /opt/jdk1.8.0_261 /usr/java/default原创 2021-10-24 22:52:33 · 2502 阅读 · 1 评论 -
手动安装Hadoop3.3.1+ Yarn HA集群
Hadoop集群搭建手动安装Hadoop3.3.1+ Yarn HA集群服务主机ip规划准备工作启动zookeeperHadoop配置文件启动与维护高可用 NameNode + Yarn 分布式集群1. 启动与格式化 ZooKeeper 集群2. 启动 JournalNode 集群3. 格式化并启动主节点 NameNode 服务4. NameNode 主、备节点同步元数据5. 启动备用节点的 NameNode 服务6. 启动 ZooKeeper FailoverController(zkfc)服务7. 启动原创 2021-10-24 10:55:48 · 3173 阅读 · 0 评论