大数据
现在说的大数据技术泛指以Hadoop生态为核心的Hadoop-Spark-Flink生态,前沿一点的就是云上大数据。
我有甜甜
这个作者很懒,什么都没留下…
展开
-
虚拟机安装的问题
将物理机环回适配器中的TCP/IPv4中的ip地址与客户机的ip地址改为自己的设置,不要用自动获得ip地址。勾选自动分配ip,设置起始ip。原创 2023-07-31 11:45:11 · 88 阅读 · 0 评论 -
hadoop的一些问题
今天在做Hadoop 分布式实例的时候遇到了这个错误:Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwxrwx— 出错原因:tmp 权限不够 修改权限: hdfs dfs -chmod -R 755 /tmp 再次通过Hadoop访问Web界面即可进入tmp目录。 原文链接:https://blog.csdn.net/lvhaoguang0/article/details/830147转载 2020-07-16 07:17:56 · 134 阅读 · 1 评论 -
hadoop伪分布式运行模式--mapreduce的启动,历史服务器配置,配置日志的聚集
配置集群 配置yarn-env.sh 配置一下JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 1 配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname hadoop101 1 2 3 4 5 6 7 8 9 10 配置:mapred-env.sh 配置一下JAVA_HOME export JAVA原创 2020-07-14 07:50:14 · 213 阅读 · 0 评论 -
hadoop安装和案例
转载来源:https://www.cnblogs.com/hejj-bk/p/12974299.html 一、hadoop安装 1)进入到 Hadoop 安装包路径下: [root@hadoop101 ~]# cd /opt/software/ 2)解压安装文件到/opt/module 下面 [root@hadoop101 software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/ 3)查看是否解压成功 [root@hadoop101 software转载 2020-07-16 07:19:01 · 227 阅读 · 0 评论