- 博客(4)
- 收藏
- 关注
RSS订阅原创 HIVE安装与配置与Hive常用交互命令
一、hive安装地址http://hive.apache.org/文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted下载地址：http://archive.apache.org/dist/hive/二、mysql安装1、安装包准备1）卸载自带的Mysql-libs（如果之前安装过mysql，要全都卸载掉）[atguigu@hadoop101 software]$ rpm -qa | grep -i -E
2021-08-12 17:29:20
232
原创 WINDOWS本地运行Hadoop的mapreduce程序配置
1、下载hadoo安装到windows本地。我这边是下载安装到D盘， D:\hadoop-3.0.02、 解压之后进行设置环境变量。新建 HADOOP_HOME 变量值 D:\hadoop-3.0.0Path中增加%HADOOP_HOME%\bin%HADOOP_HOME%\sbin3、案例解析案列背景：将统计结果按照手机归属地不同省份输出到不同文件中（分区）//输入数据1 13736230513 192.196.100.1 www.atguigu.com 2481
2021-07-08 19:08:35
671
原创 Mapreduce执行存储问题处理
问题描述：mapreduce程序jar包，导出上传至hadoop集群yarn上执行程序，报出内存不足问题，如图：问题处理：1、在/opt/module/hadoop-3.1.4/etc/hadoop/下的mapred-site.xml中添加如下配置：（其中的数字大小可以根据自己电脑的内存大小情况更改）。<property> <name>mapreduce.map.memory.mb</name> <value>512</value>
2021-07-07 14:33:15
224
原创 配置HDFS的StaticUser
任务背景 （下面界面增加删除修改文件无权限操作问题）1、修改core-site.xml文件[atguigu@hadoop101 hadoop]$ pwd/opt/module/hadoop-3.1.3/etc/hadoop2、vim core-site.xml文件，在文件中增加一个属性。hadoop.http.staticuser.useratguiguwq 报存并退出。3、将 core-site.xml 文件 分发到集群其它机器上面。atguigu@hadoop101 hadoo
2021-07-07 14:21:20
1113
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人