Centos配置单机Hadoop

最新推荐文章于 2024-04-12 10:49:11 发布

轻夏

最新推荐文章于 2024-04-12 10:49:11 发布

阅读量308

点赞数

分类专栏：极致通俗其他 hadoop 文章标签：网络 linux java hadoop 大数据

本文链接：https://blog.csdn.net/weixin_44155966/article/details/108685375

版权

极致通俗同时被 3 个专栏收录

38 篇文章 2 订阅

订阅专栏

其他

9 篇文章 0 订阅

订阅专栏

hadoop

5 篇文章 1 订阅

订阅专栏

Centos配置单机Hadoop

打通网络
配Java环境
配Host名
配hadoop
Successfully

Centos配置单机Hadoop

注意：VMware+Centos6.5
部分图片，内容不符，截图着急，仅供参考，以文字为准

打通网络

1、

2、

cd /etc/sysconfig/network-scripts/

vi ifcfg-eth0

按i进入输入模式

3、

注释掉硬件地址 #HWADDR=00:1C:…

4、

UUID删掉

5、

网卡修改为可用模式 ONBOOT=yes

6、

将地址改为静态的（不是动态配置的） BOOTPROTO = static

7、

IPADDR = …

打开编辑-虚拟网络适配器-NET模式-子网ip的前三组，后面的一位写3-254之间的任意一个

8、

NETMASK = 255.255.255.0

9、

GATEWAY = …

打开编辑-虚拟网络适配器-NET模式-NET设置-网关IP

在这里插入图片描述

10、

DNS1 = 114.114.114.114

11、

保存退出编辑

按esc到编辑模式

shift+ZZ保存并退出

在这里插入图片描述

12、

加载配置文件

service network restart

13、

查看配置情况

ifconfig

会看到eth0和lo接口

14、

（虚拟条件）关闭防火墙

永久关闭

chkconfig iptables off

15、

（虚拟条件）关闭selinux

打开

vi /etc/selinux/config

在这里插入图片描述

修改

SELINUX=disabled

16、

（虚拟条件）删除硬件地址

打开

cd /etc/udev/rules.d/

删除

rm -f 70-persistent-net.rules

17、

（虚拟条件）关机拍照克隆

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dR6Ceqwq-1600518013437)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7E0.tmp.jpg)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BxYv3Uu1-1600518013438)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7E1.tmp.jpg)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LO2uRgfh-1600518013438)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7E2.tmp.jpg)]$

再打开

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XWUYJjqX-1600518013440)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7F3.tmp.jpg)]$

18、

测试网络

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oUIsswaO-1600518013440)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7F4.tmp.jpg)]$

按crtl+C结束

看到64 bytes from 61.135.169.121: icmp_seq=3 ttl=128 time=48.6 ms说明正确，看不到就前面配错了

配Java环境

17、

下载Xshel和Xftp

在这里插入图片描述

安装包：网上下载或者，联系qq：574529447

18、

打开Xshell

19、

用ssh连接

ssh root@192.168.206.105

注意192.168.206.105是写你刚才配的ip地址，我是这个你不一定是

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5fRxRIjc-1600518013443)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7F8.tmp.jpg)]$

20、

输入密码

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-i3dtLIfn-1600518013444)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7F9.tmp.jpg)]$

21、

连接成功

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w9PzkQgl-1600518013444)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7FA.tmp.jpg)]$

22、

点击文件传输

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DRgZDyy7-1600518013444)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7FB.tmp.jpg)]$

找到jdk-8u241-linux-x64.rpm拖到右边linux上

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6qDnQGw6-1600518013444)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7FC.tmp.jpg)]$

23、

在家目录ls就能看见刚才的jdk-8u241-linux-x64.rpm（其他文件的是我自己的，忽略）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jM7cqcao-1600518013444)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7FD.tmp.jpg)]$

24、

rpm -i jdk-8u241-linux-x64.rpm

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iSNCXAbz-1600518013445)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7FE.tmp.jpg)]$

25、

使用rpm安装之后会自动进行软连接，将安装的包链接到/usr/java

但是rpm的软连接是不完全的，需要我们手动配置

vi /etc/profile相当于环境变量

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QXbB6zdL-1600518013445)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD7FF.tmp.jpg)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qte6mpDo-1600518013446)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD80F.tmp.jpg)]$

26、

G到最后o新开一行

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-42zdZsKR-1600518013446)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD810.tmp.jpg)]$

26、

使用rpm安装之后会自动进行软连接，将安装的包链接到/usr/java

export JAVA_HOME=/usr/java/jdk1.7.0_67

jdk1.7.0_67名字要写自己的，不知道写这么看下一步

27、

可以再开一个

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QdvnHCJY-1600518013447)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD811.tmp.jpg)]$

用ssh连接

ssh root@192.168.206.105

注意192.168.206.105是写你刚才配的ip地址，我是这个你不一定是

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ec8E1eSF-1600518013448)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD812.tmp.jpg)]$

去user里面看看是什么名字

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Atk7q3Gw-1600518013449)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD813.tmp.jpg)]$

发现是jdk1.8.0_241-amd64

28、

所以回来开始写

export JAVA_HOME=/usr/java/jdk1.8.0_241-amd64

我是这个名字，你的不一定

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wwT6lEj1-1600518013449)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD814.tmp.jpg)]$

29、

继续写

export PATH=$PATH:$JAVA_HOME/bin

完整的：

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LekZNvF5-1600518013449)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD815.tmp.jpg)]$

30、

保存退出

按esc到编辑模式

shift+ZZ保存并退出

31、

source /etc/profile更新环境变量

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I93ZKLH2-1600518013450)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD816.tmp.jpg)]$

32、

输入java出现一堆字就配成功了

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fG4eDDB9-1600518013450)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD817.tmp.jpg)]$

配Host名

33、

配上host就不用写IP地址了，直接写名字就行，就是给ip地址起了个别名

vi /etc/hosts

前两行不要管

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FrQqY0Xl-1600518013451)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD818.tmp.jpg)]$

34、

后面写上 ip地址空格别名，随便起（我有好多机器就有好多行，你就写一行就行）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hVQoXetU-1600518013452)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD819.tmp.jpg)]$

35、

保存退出

ping node05 测试对不对

如果出现下面一堆字，就弄对了

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-48HEaHpZ-1600518013452)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD81A.tmp.jpg)]$

Crtl+C结束

免秘钥

36、

免秘钥

要是不做免秘钥自己登陆自己也要密码

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-roB29Kt3-1600518013452)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD81B.tmp.jpg)]$

使用 ssh root@node05（使用ssh协议连接，以root的名义连接，连接地址是后面的node05）（后面那个node05可以写host名也可以写ip地址）试着登陆一下，特别麻烦，所以要做免秘钥，就是不要密码的登陆

我是node05，大家使用192.168.206.105，也就是IP地址，换成自己的，例如ssh root@192.168.206.105 要是登进去了，输入exit退出登陆

37、

免秘钥

生成秘钥

ssh-keygen -t dsa -P ‘’ -f /root/.ssh/id_dsa

dsa形式

-P密码

''密码为空

-f文件

放到家目录的.ssh隐藏文件夹下

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RWoYBZZ4-1600518013453)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD82C.tmp.jpg)]$

进去看看

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2b5qAwRJ-1600518013453)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD82D.tmp.jpg)]$

38、

放到公钥里面

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

cat读取

id_dsa.pub公钥文件

>>追加

authorized_keys新建一个文件

意思就是拷贝一份

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9i4ucJf9-1600518013453)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD82E.tmp.jpg)]$

39、

进去看看

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-berpmFqA-1600518013454)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD82F.tmp.jpg)]$

cat authorized_keys能看看里面有什么，看看就行，不用操作

40、

再登陆就不需要密码了（使用ssh协议连接，以root的名义连接，连接地址是后面的node05）（后面那个node05可以写host名也可以写ip地址）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dZKVlgJ8-1600518013455)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD830.tmp.jpg)]$

配hadoop

41、

配hadoop

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Hus9QkEl-1600518013455)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD831.tmp.jpg)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-quFhyPBU-1600518013455)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD832.tmp.jpg)]$

42、

吧hadoop拖过去

在家目录ls就能看见刚才的hadoop-2.10.0.tar.gz（其他文件的是我自己的，忽略）

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RfOSazVu-1600518013456)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD833.tmp.jpg)]$

43、

解压

tar xf hadoop-2.10.0.tar.gz

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S9xhnd8N-1600518013456)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD834.tmp.jpg)]$

ls一下就能看到解压的文件了

44、

移动到/opt/sxt目录

mv hadoop-2.10.0 /opt/sxt

45、

去/opt/sxt/就能看到

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CBTsyZNa-1600518013457)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD835.tmp.jpg)]$

46、

cd进去看看

bin

角色功能可执行脚本

sbin

管理脚本

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KbYQViXG-1600518013457)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD836.tmp.jpg)]$

47、

配置环境变量

pwd复制

在Xshell中复制用Alt+EC，粘贴用Alt+EP

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QwW6WSC1-1600518013457)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD837.tmp.jpg)]$

48、

打开vi /etc/profile

G到最后o新开一行

export HADOOP_HOME=/opt/sxt/hadoop-2.10.0

/opt/sxt/hadoop-2.10.0是刚才复制的

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YF4vwAjK-1600518013458)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD838.tmp.jpg)]$

49、

在下面添加:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

前面有冒号冒号冒号

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c358G0B0-1600518013458)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD839.tmp.jpg)]$

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VrNM4s4Y-1600518013459)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD83A.tmp.jpg)]$

50、

配置完后

保存退出ESC shift+ZZ

source /etc/profile或者. /etc/profile刷新配置文件

51、

配置hadoop的系统环境

cd /opt/sxt/hadoop-2.10.0/etc/hadoop

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XZFYRgX2-1600518013459)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD84A.tmp.jpg)]$

ls看看

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5JnZg32l-1600518013459)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD84B.tmp.jpg)]$

这些都是hadoop的配置文件

52、

vi hadoop-env.sh

把{$JAVA_HOME}改成绝对路径/usr/java/jdk1.8.0_241-amd64

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y3hgYiER-1600518013460)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD84C.tmp.jpg)]$

53、

vi mapred-env.sh

把{$JAVA_HOME}改成绝对路径/usr/java/jdk1.8.0_241-amd64

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iV1IjESu-1600518013460)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD84D.tmp.jpg)]$

54、

vi yarn-env.sh

把{$JAVA_HOME}改成绝对路径/usr/java/jdk1.8.0_241-amd64

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QevGipGL-1600518013460)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD84E.tmp.jpg)]$

55、

配置hadoop

先明确概念：

namenode在哪启动

core-site.xml

datanode在哪启动

slaves

secondanode在哪启动

hdfs-site.xml

56、

配core-site.xml：

vi core-site.xml 打开core-site.xml

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-E3bIVRvk-1600518013461)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD84F.tmp.jpg)]$

G到达行末，o新开一行，把下面的复制上，到xshell里面Alt+EP粘贴，ESC退出编辑，Crtl+ZZ保存，一气呵成

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://node01:9000</value>

    </property>

</configuration>

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jP9K7odt-1600518013461)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD850.tmp.jpg)]$

解释：

fs.defaultFS 默认的文件系统

hdfs://node01:9000访问的网址，前面node01是IP地址的别名，写你自己的，冒号后面是端口号，就按我写9000就写

写错怎么办：按ESC返回编辑模式，按u撤销，弄完记得按i进入编辑模式，出去记得保存

57、

vi hdfs-site.xml

vi hdfs-site.xml 打开 hdfs-site.xml

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yCFq3Ufv-1600518013462)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD851.tmp.jpg)]$

G到达行末，o新开一行，把下面的复制上，到xshell里面Alt+EP粘贴，ESC退出编辑，Crtl+ZZ保存，一气呵成

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

解释：

value里面是副本数

写错怎么办：按ESC返回编辑模式，按u撤销，弄完记得按i进入编辑模式，出去记得保存

58、

启动机器的名称

vi slaves

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KLBDpDee-1600518013462)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD852.tmp.jpg)]$

修改为node01（我是这个你写你的ip地址或者host地址）

保存退出

59、

由于默认namenode存储在tmp文件夹，而tmp文件夹内核会自动删除，所以要修改默认路径

vi core-site.xml

在内添加

G到最后一行，O到上一行，把下面的复制上，到xshell里面Alt+EP粘贴，ESC退出编辑，Crtl+ZZ保存，一气呵成

<property>

    <name>hadoop.tmp.dir</name>

    <value>/var/sxt/hadoop/local</value>

</property>

注意：

路径可以不存在，会自动创建，但必须是空的必须是空的必须是空的

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fPVhiTm6-1600518013462)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD853.tmp.jpg)]$

60、

配置访问地址

vi hdfs-site.xml

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-drgMX1zv-1600518013463)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD854.tmp.jpg)]$

在内添加

G到最后一行，O到上一行，把下面的复制上，到xshell里面Alt+EP粘贴，ESC退出编辑，Crtl+ZZ保存，一气呵成

<property>

   <name>dfs.namenode.secondary.http-address</name>

   <value>node01:50090</value>

</property>

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G9n6qgRt-1600518013464)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD855.tmp.jpg)]$

60、

格式化namenode

hdfs namenode -format

$![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U1Tiz8vG-1600518013464)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD856.tmp.jpg)]](https://img-blog.csdnimg.cn/20200919203551532.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDE1NTk2Ng==,size_16,color_FFFFFF,t_70#pic_center$

完了一定要看一眼successfully formatted

看见了才是正确的，要是错误也是出一堆字，但是没有successfully formatted

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-irHkS5nw-1600518013464)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD867.tmp.jpg)]$

61、

启动hadoop

进入：

cd /opt/sxt/hadoop-2.10.0/sbin

启动进程：

start-dfs.sh

如果项目中出现任何问题，要看log文件，不要看out文件

jps查看java进程，测试是否成功

62、

测试：

浏览器访问

192.168.206.105:50070（这里不能写host名，例如node01:50070, 除非你在win配了hosts，要配的在C:\Windows\System32\drivers\etc\hosts里面加上192.168.206.10 node01（写你的））

出现类似下面的东西就对了，里面的字是我设置的，和你可能不一样，但不是404就行

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rc5zcWFV-1600518013465)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD868.tmp.jpg)]$

这里能看hdfs文件系统

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Tse41uLI-1600518013465)(file:///C:\Users\23277\AppData\Local\Temp\ksohtml\wpsD869.tmp.jpg)]$

Successfully

使用hdfs

使用

hdfs dfs

操纵hdfs文件系统，后面接命令

hdfs dfs -mkdir -p /user/root

-mkdir

创建目录

-p

支持多层创建

linux中的家目录的home，hdfs中是user

我是root用户，所以我创建一个root目录

hdfs dfs -D dfs.blocksize=1048576 -put 文件名

hdfs dfs可以设置KV属性，可以设置块的大小是1M

1M是1024*1024的1048576

-put是推送文件

关闭hdfs

stop-dfs.sh

下次再启动

cd /opt/sxt/hadoop-2.10.0/sbin

start-dfs.sh

轻夏

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
Centos配置单机Hadoop

Centos配置单机Hadoop打通网络配Java环境配Host名配hadoopSuccessfullyCentos配置单机Hadoop注意：VMware+Centos6.5部分图片，内容不符，截图着急，仅供参考，以文字为准打通网络1、登录2、cd /etc/sysconfig/network-scripts/vi ifcfg-eth0按i进入输入模式3、注释掉硬件地址 #HWADDR=00:1C:…4、UUID删掉5、网卡修改为可用模式 ONBOOT=yes6
复制链接

扫一扫