大数据
文章平均质量分 69
大数据学习
shjita
这个作者很懒,什么都没留下…
展开
-
hive安装与配置
更名: mv /opt/module/lib/log4j-slf4j-impl-2.10.0.jar /opt/module/lib/log4j-slf4j-impl-2.10.0.jar.bak。更名:mv /opt/module/hive3.1/lib/guava-19.0.jar /opt/module/hive3.1/lib/guava-19.0.jar.bak。删除: rm -rf /opt/module/lib/log4j-slf4j-impl-2.10.0.jar。学会用help查看。原创 2024-02-29 15:06:19 · 1373 阅读 · 0 评论 -
mapreduce运行环境涉及的相关配置
在hive中,创建数据库,创建数据表,插入数据时,发现并调用mapreduce和yarn,插入操作未成功。则在mapreduce-site.xml中添加提示中出现的配置信息即可。近日安装HIVE时执行HIVE的操作发现一问题,现记录下来。(1)验证hadoop安装后,mapreduce是否能运行。利用自带的词频统计功能,验证能否正确运行。(2)到hive中再次执行插入操作验证。map和reduces未启动。若出现上面提示错误。原创 2024-02-29 14:25:36 · 772 阅读 · 0 评论 -
mysql rpm包安装
1、解压mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar包。注意是tar包,解压参与tar.gz不同。可在配置文件my.cnf中查看。4、查看日志中的临时密码。原创 2024-02-22 09:27:27 · 434 阅读 · 0 评论 -
mysql tar包离线安装
1、解压mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz包。1)初次初始化错误时,再次初始化要删除掉data下的所有文件。成功时,最后会出现临时密码,若未出现,则出错。2)创建用户mysql时,缺省为mysql组。初始化时会出现各种各样的错误,注意看提示。3)可用id mysql查看一下。利用临时密码连接,并修改临时密码。2)mysql客户端怎么方便执行。1)my.cnf配置文件位置。3)启动mysql服务并验证。6、mysql客户端连服务端。注意mysql客户端位置。原创 2024-02-21 17:18:25 · 778 阅读 · 0 评论 -
hadoop3相关配置
在hadoop安装目录下依次创建hadoopDatas/tempDatas,hadoopDatas/namenodesDatas,hadoopDatas/datanodeDatas,hadoopDatas/dfs/nn/edits,hadoopDatas/dfs/snn/name,hadoopDatas/dfs/nn/snn/edits。之前免密设置:master->master,master->slave1,master->slave2。现最好设置:master,slave1,slave2之间相互免密。原创 2024-02-17 10:01:52 · 929 阅读 · 0 评论 -
hadoop3分布式基本部署
命令:tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app。(5)将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中。可利用cp命令或ssh-copy-id,建议用ssh-copy-id,较为简单。(4)设置master->slave1,master->slave2。ssh-copy-id命令:ssh-copy-id master。(5)将/etc/hosts文件传输给slave1,slave2。原创 2024-02-16 10:53:04 · 916 阅读 · 0 评论