Ubuntu学习笔记（一）

最新推荐文章于 2023-08-30 17:06:10 发布

java小白的学习日记

最新推荐文章于 2023-08-30 17:06:10 发布

阅读量179

点赞数

分类专栏：学习笔记文章标签： hadoop linux

本文链接：https://blog.csdn.net/weixin_44585687/article/details/115186816

版权

学习笔记专栏收录该内容

20 篇文章 0 订阅

订阅专栏

这篇博客详细记录了在Ubuntu系统中如何更新下载源、安装VMware工具、解决权限问题、更改IP地址和主机名，以及安装与配置JDK和Hadoop环境的过程，包括了核心配置文件的修改。

摘要由CSDN通过智能技术生成

ubuntu显示全屏

#更新下载源
sudo apt-get update
#安装open-vm-tools、open-vm-desktop
sodu apt-get install open-vm-tools
sodu apt-get install open-vm-tools-desktop

每次写入总是出现错误，E212：无法打开并写入文件。
权限问题，升级成root账户即可

xshell拒绝密码访问ubuntu
在Xshell中用户名不使用root同样会被禁止访问
https://blog.csdn.net/Wangguang_/article/details/92382156

更改ip地址
Ubuntu与centeos不同，可以设置——网络里进行修改[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cH3ZuF2x-1616633099148)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1616588978824.png)]

修改主机名称
vim /etc/hostname

Ubuntu安装jdk配置环境变量
cd /etc/profile.d
vim my_env.sh
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH= $P A T H :$ JAVA_HOME/bin
source /etc/profile

安装hadoop配置环境变量
cd /etc/profile.d
vim my_env.sh
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.4
export PATH= $P A T H :$ HADOOP_HOME/bin
export PATH= $P A T H :$ HADOOP_HOME/sbin
source /etc/profile

hadoop
本地（数据存储再linux本地）
伪分布（数据存储在HDFS）
完全分布式（数据存储在HDFS、拥有多台服务器)

hadoop集群配置
1.core-site.xml

fs.defaultFS
hdfs://hadoop100:8020

hadoop.tmp.dir
/opt/module/hadoop-3.1.4/data

hadoop.http.staticuser.user
hadoop100

2.hdfs-site.xml

dfs.namenode.http-address
hadoop100:9870

dfs.namenode.secondary.http-address
hadoop100:9868

3.yarn-site.xml

    <!-- 指定 MR 走 shuffle -->
    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址-->
    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop103</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
            <name>yarn.nodemanager.env-whitelist</name>
            <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
     </property></configuration>

4.mapred-site.xml

mapreduce.framework.name
yarn