大数据技术原理与应用（一）

叭了个叭了个叭了叭

已于 2022-03-31 12:58:17 修改

阅读量3.6k

点赞数

文章标签：机器学习人工智能

于 2022-03-14 15:18:16 首次发布

本文链接：https://blog.csdn.net/m0_59360018/article/details/121128614

版权

首先安装VMware和乌班图，然后根据书上教程安装hadoop，在配置java环境使可以直接上甲骨文进行下载。下载时需要注意首先是下载.tar.gz格式的压缩包。其次是一定要提前看一下自己的虚拟机是几位的，如果不匹配就会在安装时出现“可执行文件错误”。在下载时可以通过虚拟机直接下载，也可以先安装VMtools在主机上下载再进行拖拽。

使用此命令可以查看虚拟机的位数。顺带一提，使用vim进入配置文件时，使用“i”可以对文件进行插入，退出摁“esc”然后输入":wq"就可以保存并退出，什么操作都没有可以使用“:quit”进行退出。如果不小心破坏了文件可以再次用vim打开，他会提示你一些东西，可以让你进行修改或者直接对文件进行还原。

其次继续跟着书上的指示更改两个xml文件，core-site.xml和hdfs-site.xml怎么修改书上都有，就不再赘述。主要是记录一些自己在配置以及实验时出现的一些问题。接下来进行初始化文件系统，这样才能进一步执行计算任务。

这个终端非常不智能，一定要仔细检查自己输入的命令是否正确，尤其是/和有没有空格。

执行结果如下：

好的通过跟书上的比对，果然又出现了错误。

然后没找到错误原因，暂时标记，如果后面出现什么问题首先考虑这一步。

接下来启动HDFS，启动失败。

又往上翻了一下在执行Grep实例的时候就已经出现了错误，不愧是我。从头再来。

这次出现的是这种错误，先确定一下自己的jar目录是不是切实存在的。直接复制了这个文件的名字进行命令更新出现了不一样的东西，接下来继续向下走看看是否一致。好的还是不对。

这个问题的原因是发生在系统位数不匹配，可以找到匹配的系统进行安装，也可以在hadoop-env.sh和yarn-env.sh添加如下两行：

添加之后在执行命令上述问题解决，但我看着还是不太对劲，再试一下。

好的果然还是有问题，真好。

解决完这个错误去keep然后开会。

捣鼓了一派子，下载的hadoop位数是64位

好好好

现在已经是下午6点了，我还没安好，从上午9点开始，除去下午上课和锻炼的时间已经很长了。有的时候自己也弄不明白，按部就班的按照书上的内容来进行安装和各种操作，还会出现这样那样的问题，你出这书干啥，真的有病，也不说解决办法，在网上也搜不到，只能一遍遍的卸载重新安装，服了。

<property>
       <name>hadoop.tmp.dir</name>
       <value>file:/usr/local/hadoop/tmp</value>
       <description>Abase for other temporary directories.</description>
   </property>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>

<property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/name</value>
   <property>
       <name>dfs.datanode.data.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/data</value>
   </property>

<!--
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at

http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License. See accompanying LICENSE file.
-->

安好了

第二章

启动hadoop

cd /usr/local/hadoop

./sbin/start-dfs.sh

在HDFS中创建hadoop用户的用户目录

cd /usr/local/hadoop

./bin/hdfs dfs -mkdir -p /user/hadoop

创建test文件夹

cd /usr/hadoop

hadoop fs -mkdir /test/

查看文件列表

cd /usr/hadoop/test -ls

第四章

先安装zookeeper，解压之后使用 sudo mv 文件名 /usr/local 命令将其移动到local 文件夹下

然后使用cp zoo_sample.cfg zoo.cfg将文件复制并更名，再编辑zoo.cfg文件如下：

 1 The number of milliseconds of each tick
 2 
 3 tickTime=2000
 4 
 5 # The number of ticks that the initial
 6 
 7 # synchronization phase can take
 8 
 9 initLimit=10
10 
11 # The number of ticks that can pass between
12 
13 # sending a request and getting an acknowledgement
14 
15 syncLimit=5
16 
17 # the directory where the snapshot is stored.
18 
19 # 指定数据存放目录
20 
21 dataDir=/usr/zookeeper
22 
23 # log 存放目录
24 
25 dataLogDir=/usr/zookeeper/log
26 
27 # the port at which the clients will connect
28 
29 # 端口号
30 
31 clientPort=2181

1、tickTime：这个时间是作为Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。

2、dataDir：顾名思义就是Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。

3、dataLogDir：顾名思义就是Zookeeper 保存日志文件的目录

4、clientPort：这个端口就是客户端连接Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。

修改环境变量：sudo vim /etc/profile

export ZOOKEEPER_INSTALL=/usr/local/zookeeper

export PATH=$ZOOKEEPER_INSTALL/bin:$PATH

搞定之后去到zookeeper/bin文件夹下启动就OK了，./zkServer.sh start

./zkServer.sh stauts是查看状态

一定要注意版本问题。

安装hbase：

解压缩之后，进入conf文件夹，编辑hbase-env.sh：