![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Java页大数据
一点点改变
展开
-
基于hadoop-3.3.2安装hbase-2.4.11,报错:object is not an instance of declaring class(已处理)
基于hadoop-3.3.2安装hbase-2.4.11,报错:object is not an instance of declaring class 安装之前看了hbase官网,hbase-2.4.11和hadoop-3.3.2是不冲突的,适配了,于是选择了这两个版本来进行使用;但是无奈还是碰到了问题,一开始以为是不兼容的问题;后面查了资料;原来是因为hbase和Hadoop有冲突包; question: 2022-05-16 21:15:56,450 WARN [RS-EventLoopGrou原创 2022-05-16 23:42:28 · 3033 阅读 · 9 评论 -
sqoop安装及测试(坑解决)
sqoop 安装: 下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz (非sqoop-1.4.7.tar.gz ) 解压 修改sqoop-env-template.sh文件名为sqoop-env.sh;并修改一下内容!! [root@leader bin]# echo $HADOOP_HOME /opt/hadoop-3.2.2 [root@leader bin]# echo $HBASE_HOME /opt/hbase-2.3.6 [root@leader bin]# e原创 2022-03-26 03:23:11 · 2941 阅读 · 0 评论 -
datax数据迁移 --- hdfs到mysql
datax数据迁移 hdfs到mysql记录: hdfsreaderTomysqlwriter.json [root@slave1 mytemplate]# python /opt/datax/bin/datax.py -r hdfsreader -w mysqlwriter >> hdfsreaderTomysqlwriter.json [root@slave1 mytemplate]# cat hdfsreaderTomysqlwriter.json { "job": {原创 2022-03-24 23:52:00 · 1795 阅读 · 0 评论 -
spark2.3.0基于hadoop3.1.0安装
本文选取基于 前提要装scala。 spark-env.sh配置: JAVA_HOME=/opt/jdk1.8.0_161 HADOOP_CONF_DIR=/opt/hadoop-3.1.0/etc/hadoop export YARN_CONF_DIR=HADOOPHOME/etc/hadoopexportHADOOPCONFDIR=HADOOP_HOME/etc/hadoop export HADOOP_CONF_DIR=HADOOPHOME/etc/hadoopexportHADOOPCONFD原创 2022-03-24 23:15:52 · 455 阅读 · 0 评论 -
datax的mysql 到hdfs文件系统 --- 支持高可用
datax的mysql 到hdfs文件系统上! 支持高可用 mysqlreaderTohdfswriter.json [root@slave1 mytemplate]# python /opt/datax/bin/datax.py -r mysqlreader -w hdfswriter >> mysqlreaderTohdfswriter.json [root@slave1 mytemplate]# cat mysqlreaderTohdfswriter.json { "job"原创 2022-03-24 23:07:41 · 2119 阅读 · 1 评论 -
解析fsimage文件(文件与数据块)
fsimage文件与editslog文件存储的路径 查看hdfs-site.xml属性: fsimage、editslog文件存储:(可多目录) dfs.namenode.name.dir /opt/data/name blk数据块文件:(可多目录) dfs.datanode.data.dir /opt/data/dn1,/opt/data/dn2 fsimage和editslog文件存储在dfs.namenode.name.dir的值下面。 /opt/data/name/current/原创 2021-06-03 23:39:25 · 2319 阅读 · 0 评论