![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据笔记
文章平均质量分 70
大数据开发过程踩坑集锦。。。。
伟是伟大的伟
朽木自雕
展开
-
HIVE安装与配置与Hive常用交互命令
一、hive安装地址 http://hive.apache.org/ 文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 下载地址:http://archive.apache.org/dist/hive/ 二、mysql安装 1、安装包准备 1)卸载自带的Mysql-libs(如果之前安装过mysql,要全都卸载掉) [atguigu@hadoop101 software]$ rpm -qa | grep -i -E原创 2021-08-12 17:29:20 · 207 阅读 · 0 评论 -
WINDOWS本地运行Hadoop的mapreduce程序配置
1、下载hadoo安装到windows本地。 我这边是下载安装到D盘, D:\hadoop-3.0.0 2、 解压之后进行设置环境变量。 新建 HADOOP_HOME 变量 值 D:\hadoop-3.0.0 Path中增加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 3、案例解析 案列背景: 将统计结果按照手机归属地不同省份输出到不同文件中(分区) //输入数据 1 13736230513 192.196.100.1 www.atguigu.com 2481原创 2021-07-08 19:08:35 · 619 阅读 · 0 评论 -
Mapreduce执行存储问题处理
问题描述: mapreduce程序jar包,导出上传至hadoop集群yarn上执行程序,报出内存不足问题,如图: 问题处理: 1、在/opt/module/hadoop-3.1.4/etc/hadoop/下的mapred-site.xml中添加如下配置:(其中的数字大小可以根据自己电脑的内存大小情况更改)。 <property> <name>mapreduce.map.memory.mb</name> <value>512</value>原创 2021-07-07 14:33:15 · 187 阅读 · 0 评论 -
配置HDFS的StaticUser
任务背景 (下面界面增加删除修改文件无权限操作问题) 1、修改core-site.xml文件 [atguigu@hadoop101 hadoop]$ pwd /opt/module/hadoop-3.1.3/etc/hadoop 2、vim core-site.xml文件,在文件中增加一个属性。 hadoop.http.staticuser.user atguigu wq 报存并退出。 3、将 core-site.xml 文件 分发到集群其它机器上面。 atguigu@hadoop101 hadoo原创 2021-07-07 14:21:20 · 1025 阅读 · 1 评论