![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
qq_2631218300
这个作者很懒,什么都没留下…
展开
-
Apache Sqoop 介绍及数据迁移
Sqoop是什么? Sqoop是一个用于在Hadoop和关系数据库之间传输数据的工具 将数据从RDBMS导入到HDFS(HDFS、Hive、HBase),从HDFS导出数据到RDBMS,使用MapReduce导入和导出数据,提供并行操作和容错 目标用户:系统管理员、数据库管理员、大数据分析师、大数据开发工程师等 1、从RDB(关系型数据库)导入数据到HDFS-1 导入表到HDFS [root@hadoop1 sqoop]# bin/sqoop-import \ --配置数据库连接为MySQL中数据库hive原创 2020-10-12 16:05:21 · 177 阅读 · 0 评论 -
Sqoop环境搭建
Sqoop环境搭建 1、Sqoop安装 安装Sqoop前提是已经具备java、hadoop、hive、zookeeper、hbase、mysql的环境 未安装完全的可参考 jdk安装 hive和hbase安装 hadoop安装 zookeeper安装 mysql安装 2、下载并解压 首先上传安装包到opt目录并解压然后改名 tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz mv sqoop-1.4.6-cdh5.14.2.tar.gz sqoop 3、配置环境变量 [roo原创 2020-09-26 14:40:02 · 178 阅读 · 0 评论 -
Hbase和Hive安装
安装Hbase 1、解压压缩包到opt目录下,改名为hbase 2、配置环境变量: export HBASE_HOME=/opt/hbase export PATH=$ PATH:$HBASE_HOME/bin 3、然后cd /opt/hbase/conf,在输入vi hbase-env.sh进入 底部添加:export JAVA_HOME=/opt/java8(java8为你的jdk的文件名) export HBASE_MANAGES_ZK=true 输入:set nu注释45 46 行 4、输入vi h原创 2020-09-15 15:43:03 · 516 阅读 · 0 评论 -
Hadoop HA模式高可用搭建
Hadoop HA模式高可用搭建 首先需要集群搭建,zookeepr安装配置,这些可以参考前面两篇博客 再次基础上,对文件进行修改 1、修改core-site.xml 包括name集群的名称和zookeeper 2181地址 2、修改hdfs-site.xml nameservices集群下面的各个nameservice服务对应的映射 rpc-address的地址9000 http-address的地址50070 journalnode的共享地址(各个datenode) qjournal://datano原创 2020-09-08 20:17:37 · 160 阅读 · 0 评论 -
Hadoop完全分布式搭建
Hadoop完全分布式搭建 1、上传压缩包并解压到opt目录下,改名hadoop 2、配置环境变量 export HADOP_HAOME=/opt/hadoop export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIV原创 2020-09-08 16:02:06 · 152 阅读 · 0 评论 -
zookeeper集群的时间同步
一、下载安装zookeeper到opt目录下并改名为zkpr 二、zookeeper配置 1、配置环境变量vi /etc/profile 加上export ZK_HOME=/opt/zkpr export PATH=$PATH:ZK_HOME/bin 保存退出后source /etc/profile使其生效 2、输入cd /opt/zkpr/conf修改zoo_sample.conf 将其改名为zoo.cfg,然后vi zoo.cfg进行修改为 (每一台机器都要修改) 2、保存退出后在zkpr目录下创建原创 2020-09-08 15:01:38 · 423 阅读 · 0 评论