HNU2022夏季小学期大数据并行处理集群环境配置

最新推荐文章于 2022-11-09 08:27:16 发布
最新推荐文章于 2022-11-09 08:27:16 发布
阅读量884 收藏 5
点赞数
分类专栏： 大数据并行处理 文章标签： 大数据 hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/S0609/article/details/125566918
版权

1 环境安装

1.1 环境说明

Window系统8G内存+virtualbox+ Ubuntu16 server版 虚拟机 * 3

虚拟机安装教程可借鉴：（注意更改用户名和主机名）

https://blog.csdn.net/weixin_43793181/article/details/116269816

（用户名建议改hadoop，主机名改master，slave1，slave2。因为下面教程都是按照这几个用户名和主机名进行配置的，会比较方便）

软件版本说明：

Ubuntu16.04 server * 3
JDK8：jdk-8u331-linux-x64.tar.gz
Scala：scala-2.12.16.tgz
Hadoop:hadoop-3.3.3.tar.gz
Zookeepe:apache-zookeeper-3.7.1-bin.tar.gz
Hbase:hbase-2.4.12-bin.tar.gz
Spark:spark-3.3.0-bin-hadoop3.tgz

连接虚拟机服务器工具：

Xshell-7.0.0087p.exe --传输命令
Xftp-7.0.0085p.exe  --文件传输

为什么要连接工具：server版无法复制粘贴命令行也无法直接拖拽文件进入，使用连接工具方便很多。

文件百度网盘地址：

https://pan.baidu.com/s/1FY6h9DANQ2u_syyXyyWHgQ

提取码：ybum

2 主机配置

1 设置桥接模式

注意：三台虚拟机都要配置！！！

装完虚拟机之后，先关机，关机命令

poweroff --关机
reboot  --重启

按如下步骤进行设置：

image-20220630092932328

设置完开机。

2 Xshell连接

下载安装包直接安装Xshell和Xftp，然后打开Xshell。

image-20220630093336561

用以下命令可查看虚拟机ip地址：

ip addr

image-20220630093739999

image-20220630093528218

image-20220630093612038

三台虚拟机获取三个会话：

image-20220630093836964

3 更改主机名

vi使用基本命令

进入vi后是命令行模式：

按以下进入插入模式：

image-20220630094649404

按Esc键返回命令行模式

image-20220630094611330

如果装主机的时候没配置就现在配置

三台虚拟机都要执行：

sudo vi /etc/hostname

把原来的删除，分别改成master，slave1，slave2.

image-20220630093919750

image-20220630094007261

image-20220630094030599

我这里用户名是hadoop，如果一开始安装的时候设置其他的想修改可参考以下教程：

https://blog.csdn.net/m0_67401606/article/details/123651879

注意：更改用户名的操作不要在Xshell中执行，直接在虚拟机命令行执行！

4 配置hosts文件

三台主机分别执行：

sudo vi /etc/hosts

把原来里面的localhost删除

加入以下内容：（注意三台都加）

image-20220630094441387

3 设置免密登录

以下命令行查看当前路径：

pwd

三台执行顺序按照：master，slave1，slave2避免出错

1.在/home/hadoop目录下执行：（三台都要执行）

mkdir .ssh --创建免密管理文件夹
cd .ssh   --进入该文件夹

2.在/home/hadoop/.ssh 目录下执行：（三台都要执行）

ssh-keygen -t rsa  --生成密钥

让你输入一些东西，不用管连续一直回车，应该是三次。

3.在/home/hadoop/.ssh 目录下执行：

--设置免密登录
ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub slave1

注意这条指令每台主机都要执行三次，分别master，slave1，slave2，注意：自己到自己也要设置！！

4.验证

每台主机都验证一遍到其他三台主机的免密登录，（包括自己）。

ssh master  --其他主机就修改主机名

image-20220630095731615

不需要密码即成功。

4 JDK8安装

1 环境准备

在/home/hadoop创建install文件夹用来保存安装的软件，

创建package文件夹用来保存安装包。

创建文件夹命令

mkdir install
mkdir package

打开文件传输助手Xftp，传入JDK安装包（打开虚拟机目录直接拖拽即可。）

image-20220630100145651

image-20220630100217880

2 安装

回到Xshell，在master中，打开安装包所在目录。

执行以下命令：

sudo tar -zxvf jdk-8u331-linux-x64.tar.gz -C ~/install

3 配置环境变量

sudo vi /etc/profile

输入以下内容：

（如果按照上面来说路径应该一样，路径不一样的话请注意修改）

export JAVA_HOME=/home/hadoop/install/jdk1.8.0_331
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

image-20220630100707027

4 使环境配置生效

source /etc/profile

5 查看配置

java -version

image-20220630101001105

6 将文件夹scp到到其它节点服务器上

master节点执行就行.

scp -r ~/install/jdk1.8.0_331 hadoop@slave1:~/install/jdk1.8.0_331

scp -r ~/install/jdk1.8.0_331 hadoop@slave2:~/install/jdk1.8.0_331

其他节点的环境变量配置：

我是自己复制粘贴的，因为我以下指令执行权限不足，我也懒得修改就直接复制粘贴了。

sudo scp /etc/profile hadoop@slave1:/etc

sudo scp /etc/profile hadoop@slave2:/etc

分别使环境变量生效：（两台slave）

source /etc/profile

5 Scala安装

1 安装

拖入安装包，打开安装包所在目录：

sudo tar -zxvf scala-2.12.16.tgz -C ~/install

2 配置环境变量

sudo vi /etc/profile

添加以下内容并保存：

export SCALA_HOME=/home/hadoop/install/scala-2.12.16
export PATH=$PATH:$SCALA_HOME/bin

image-20220630101700825

3 使环境配置生效

source /etc/profile

4 查看是否配置成功

scala -version

image-20220630101749061

5 将文件夹scp到其它节点

scp -r ~/install/scala-2.12.16hadoop@slave1:~/install/scala-2.12.16

scp -r ~/install/scala-2.12.16hadoop@slave2:~/install/scala-2.12.16

6 其他节点配置和环境变量

复制粘贴就行，下面指令我一直用不了，想用自己CSDN解决。

sudo scp /etc/profile hadoop@slave1:/etc

sudo scp /etc/profile hadoop@slave2:/etc

6 Hadoop安装

1 安装

拖入安装包，打开安装包所在目录：

tar -zxvf hadoop-3.3.3.tar.gz -C ~/install

2 修改配置文件

如果路径不同记得查看修改，相同直接复制粘贴就行

进入hadoop安装目录的/etc/hadoop目录下

core-site.xml
vi core-site.xml

<configuration>
　　<property>
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://master:9000</value>
　　</property>
　　<property>
　　　　<name>hadoop.tmp.dir</name>
　　　　<value>file:/home/hadoop/hadoop/tmp</value>
　　</property>
</configuration>
hdfs-site.xml
vi hdfs-site.xml

<configuration>
　　<property>
　　　　<name>dfs.namenode.name.dir</name>
　　　　<value>file:/home/hadoop/install/hadoop-3.3.3/tmp/dfs/name</value>
</property>
　　<property>
　　　　<name>dfs.datanode.data.dir</name>
　　　　<value>file:/home/hadoop/install/hadoop-3.3.3/tmp/dfs/data</value>
　　</property>
　　<property>
　　　　<name>dfs.namenode.secondary.http-address</name>
　　　　<value>master:9001</value>
　　</property>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>2</value>
　　</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

</configuration>
mapred-site.xml
vi mapred-site.xml

<configuration>
　　<property>
　　　　<name>mapreduce.framework.name</name>
　　　　<value>yarn</value>
　　</property>
　　<property>
　　　　<name>mapreduce.jobhistory.address</name>
　　　　<value>master:10020</value>
　　</property>
　　<property>
　　　　<name>mapreduce.jobhistory.webapp.address</name>
　　　　<value>master:19888</value>
　　</property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/home/hadoop/install/hadoop-3.3.3</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/home/hadoop/install/hadoop-3.3.3</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/home/hadoop/install/hadoop-3.3.3</value>
</property>
</configuration>

这个需要复制一份备份：

touch mapred-site.xml.template

cp mapred-site.xml mapred-site.xml.template
yarn-site.xml
vi yarn-site.xml

<configuration>
　　<property>
　　　　<name>yarn.resourcemanager.hostname</name>
　　　　<value>master</value>
　　</property>
　　<property>
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
　　<property>
　　　　<name>yarn.log-aggregation-enable</name>
　　　　<value>true</value>
　　</property>
　　<property>
　　　　<name>yarn.log-aggregation.retain-seconds</name>
　　　　<value>604800</value>
　　</property>
</configuration>
hadoop-env.sh
vi hadoop-env.sh

添加以下内容：

export JAVA_HOME=/home/hadoop/install/jdk1.8.0_331
workers
vi workers

加入以下内容

master
slave1
slave2

3 配置环境变量

sudo vi /etc/profile

添加以下内容并保存：

export HADOOP_HOME=/home/hadoop/install/hadoop-3.3.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

image-20220630103051277

4 使环境配置生效

source /etc/profile

5 将文件夹scp到其它节点

scp -r ~/install/hadoop-3.3.3 hadoop@slave1:~/install/hadoop-3.3.3

scp -r ~/install/hadoop-3.3.3 hadoop@slave2:~/install/hadoop-3.3.3

6 其他节点配置和环境变量

两台slave直接执行一遍步骤（3）.

使环境变量生效

source /etc/profile

7 格式化namenode节点

回到master主机

hadoop namenode -format

注意：只需要格式化一遍，如果启动hadoop验证有问题需要重新格式化，需要删除三个节点安装目录下的tmp和logs文件夹！

8 启动hadoop

start-all.sh --启动集群
stop-all.sh  --关闭集群

得到以下结果正确：

三台主机分别执行

jps

master：

image-20220630104020724

slave1和slave2：

image-20220630104041231

9 错误原因

如果少了某个节点，自行百度原因.

一般是免密登录的问题，关闭集群之后，分别检查三个节点的免密登录是否还有效。

ssh [master|slave1|slave2] --都不用密码的话我也不懂了，百度就行。

7 Zookeeper安装

1 安装

拖入安装包，打开安装包所在目录：

tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz -C ~/install

（我嫌文件夹太长，我把安装的文件夹改成了zookeeper-3.7.1）

修改文件夹名字指令：

mv apache-zookeeper-3.7.1 zookeeper-3.7.1

2 创建用于存储数据和日志的文件夹

cd /home/hadoop/install/zookeeper-3.7.1
mkdir data
mkdir logs

3 创建配置文件

cd /home/hadoop/install/zookeeper-3.7.1/conf

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

修改配置文件，改为以下内容：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/hadoop/install/zookeeper-3.7.1/data 
dataLogDir=/home/hadoop/install/zookeeper-3.7.1/logs
clientPort=2181
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
server.4=slave3:2888:3888
server.5=slave4:2888:3888

image-20220630104931298

4 修改myid文件

注意：id和host与zoo.cfg中配置的相匹配

cd /home/hadoop/install/zookeeper-3.7.1/data

echo '1' > myid

5 将文件夹scp到其它节点

scp -r ~/install/zookeeper-3.7.1 hadoop@slave1:~/install/zookeeper-3.7.1

scp -r ~/install/zookeeper-3.7.1 hadoop@slave2:~/install/zookeeper-3.7.1

其他节点修改myid文件

cd /home/hadoop/install/zookeeper-3.7.1/data
vi myid

slave1修改为2
slave2修改为3

6 环境变量配置

三台机器都要执行：

sudo vi /etc/profile

加入：

export ZOOKERPER_HOME=/home/hadoop/install/zookeeper-3.7.1
export PATH=$PATH:$ZOOKERPER_HOME/bin

image-20220630105455777

环境变量生效：

source /etc/profile

7 启动zookeeper

注意：所有节点都需要启动！！

zkServer.sh start

三台机器输入：

jps

得到以下结果就是正确的：（三台机器都有QuorumPeerMain进程）

master：

image-20220630105647095

slave：

image-20220630105713039

8 Hbase安装

1 安装

拖入安装包，打开安装包所在目录：

tar -zxvf hbase-2.4.12-bin.tar.gz -C ~/install

2 修改配置文件

cd /home/hadoop/install/hbase-2.4.12/conf
hbase-env.sh
vi hbase-env.sh

加入：

export JAVA_HOME=/home/hadoop/install/jdk1.8.0_331
export  HBASE_MANAGES_ZK=false
export HBASE_CLASSPATH=/home/hadoop/install/hbase-2.4.12/conf
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"  --hadoop与hbase有jar包冲突，以hadoop为主

注释掉以下行：（如果有的话）

#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
hbase-site.xml
vi hbase-site.xml

加入：

<configuration>

<property> 
　　　　<name>hbase.rootdir</name> 
　　　　<value>hdfs://master:9000/hbase</value> 
　　</property> 
　　<property> 
　　　　<name>hbase.cluster.distributed</name> 
　　　　<value>true</value> 
　　</property> 
<property>
              <name>hbase.master</name>
              <value>master:6000</value>
      </property>
<property> 
　　　　<name>hbase.zookeeper.quorum</name> 
　　　　<value>master,slave1,slave2</value> 
　　</property> 
<property> 
　　　　<name>hbase.zookeeper.property.dataDir</name> 
　　　　<value>/home/hadoop/install/zookeeper-3.7.1/data</value> 
　　</property>

</configuration>
regionservers
vi regionservers

加入：

master
slave1
slave2

3 hadoop上创建文件目录

hadoop fs -mkdir /hbase

4 配置环境变量

三台机器都要执行：

sudo vi /etc/profile

加入：

export HBASE_HOME=/home/hadoop/install/hbase-2.4.12
export PATH=$PATH:$HBASE_HOME/bin

image-20220630110946274

环境变量生效：

source /etc/profile

5 将文件夹scp到其它节点

scp -r ~/install/hbase-2.4.12 hadoop@slave1:~/install/hbase-2.4.12

scp -r ~/install/hbase-2.4.12 hadoop@slave2:~/install/hbase-2.4.12

6 启动进程

只需要master节点启动就行（除了zookeeper三节点启动，其他都是master节点启动）

start-hbase.sh  --启动
stop-hbase.sh  --关闭

使用查看指令：

jps

得到以下结果即正确：

master：

image-20220630111236317

slave：

image-20220630111259814

9 Spark安装

1 安装

拖入安装包，打开安装包所在目录：

tar -xzvf spark-3.3.0-bin-hadoop3.tgz -C ~/install

2 修改配置文件

进入到spark的配置目录下

cd /home/hadoop/install/spark-3.3.0-bin-hadoop3/conf

修改slaves.template、spark-env.sh.template、spark-defaults.conf.template等文件的文件名

mv slaves.template slaves

mv spark-env.sh.template spark-env.sh

mv spark-defaults.conf.template spark-defaults.conf
spark-env.sh
vi spark-env.sh

添加内容保存：

export JAVA_HOME=/home/hadoop/install/jdk1.8.0_331
export SCALA_HOME=/home/hadoop/install/scala-2.12.16
export HADOOP_HOME=/home/hadoop/install/hadoop-3.3.3
export HADOOP_CONF_DIR=/home/hadoop/install/hadoop-3.3.3/etc/hadoop
SPARK_MASTER_IP=master
SPARK_WORKER_MEMORY=1024m
workers
vi workers

加入：

master
slave1
slave2
spark-defaults.conf
vi spark-defaults.conf

加入：

spark.master    spark://master:7077

3 配置环境变量

三台都配置！！

sudo vi  /etc/profile

加入：

#spark
export SPARK_HOME=/home/hadoop/install/spark-3.3.0-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

image-20220630112633345

使环境配置生效

source /etc/profile

4 将文件夹scp到其它节点

scp -r ~/install/spark-3.3.0-bin-hadoop3 hadoop@slave1:~/install/spark-3.3.0-bin-hadoop3

scp -r ~/install/spark-3.3.0-bin-hadoop3 hadoop@slave2:~/install/spark-3.3.0-bin-hadoop3

5 启动

由于hadoop和spark启动指令一样，spark启动需要进入目录文件下

cd /home/hadoop/install/spark-3.3.0-bin-hadoop3/sbin
./start-all.sh  --启动
./stop-all.sh  --关闭

6 验证

master

image-20220630113044037

slave：

image-20220630113105881

10 HBase命令行实现增删查改

1 进入客户端命令行

hbase shell

image-20220701144417220

使用指令查看所有的指令

help

image-20220702104030926

2 创建命名空间

create_namespace 'hadoop'

image-20220702104346855

3 对表格增删改查

创建表格
create 'hadoop:student','info','msg'
/*
命名空间：表名
列族1
列族2
*/
--创建表格不需要添加列名，只要创建列族就行。
查看表格信息
desc 'hadoop:student'

image-20220702105244803

修改表格
'hadoop:student',NAME=>'msg',VERSIONS=>3  --修改列族信息

alter 'hadoop:student','delete'=>'msg'  --删除列族

image-20220702110000205

删除表格
disable  'hadoop:student' --现设置不可用，防止误删
drop 'hadoop:student'

4 对表的内容增删改查

写入数据

命令格式：

  hbase> put 'ns1:t1', 'r1', 'c1', 'value'
  hbase> put 't1', 'r1', 'c1', 'value'
  hbase> put 't1', 'r1', 'c1', 'value', ts1
  hbase> put 't1', 'r1', 'c1', 'value', {ATTRIBUTES=>{'mykey'=>'myvalue'}}
  hbase> put 't1', 'r1', 'c1', 'value', ts1, {ATTRIBUTES=>{'mykey'=>'myvalue'}}
  hbase> put 't1', 'r1', 'c1', 'value', ts1, {VISIBILITY=>'PRIVATE|SECRET'}

内容：列名是动态加的，不用新建，直接用

put 命名空间：表 + 行号 + 列族：列名 + 内容

put 'hadoop:student','1000','info:name','super_cool'
put 'hadoop:student','1000','info:age','21'
put 
'hadoop:student','1001','info:name','super_cool1'
put 'hadoop:student','1002','info:name','super_cool2'
读取数据

get 格式

  hbase> t.get 'r1'
  hbase> t.get 'r1', {TIMERANGE => [ts1, ts2]}
  hbase> t.get 'r1', {COLUMN => 'c1'}
  hbase> t.get 'r1', {COLUMN => ['c1', 'c2', 'c3']}
  hbase> t.get 'r1', {COLUMN => 'c1', TIMESTAMP => ts1}
  hbase> t.get 'r1', {COLUMN => 'c1', TIMERANGE => [ts1, ts2], VERSIONS => 4}
  hbase> t.get 'r1', {COLUMN => 'c1', TIMESTAMP => ts1, VERSIONS => 4}
  hbase> t.get 'r1', {FILTER => "ValueFilter(=, 'binary:abc')"}
  hbase> t.get 'r1', 'c1'
  hbase> t.get 'r1', 'c1', 'c2'
  hbase> t.get 'r1', ['c1', 'c2']
  hbase> t.get 'r1', {CONSISTENCY => 'TIMELINE'}
  hbase> t.get 'r1', {CONSISTENCY => 'TIMELINE', REGION_REPLICA_ID => 1}

简单来说就是

get+ '命名空间：表名' +过滤信息

get 'hadoop:student','1000'

image-20220702111422345

scan格式

hbase> scan 'hbase:meta'
  hbase> scan 'hbase:meta', {COLUMNS => 'info:regioninfo'}
  hbase> scan 'ns1:t1', {COLUMNS => ['c1', 'c2'], LIMIT => 10, STARTROW => 'xyz'}
  hbase> scan 't1', {COLUMNS => ['c1', 'c2'], LIMIT => 10, STARTROW => 'xyz'}
  hbase> scan 't1', {COLUMNS => 'c1', TIMERANGE => [1303668804000, 1303668904000]}
  hbase> scan 't1', {REVERSED => true}
  hbase> scan 't1', {ALL_METRICS => true}
  hbase> scan 't1', {METRICS => ['RPC_RETRIES', 'ROWS_FILTERED']}
  hbase> scan 't1', {ROWPREFIXFILTER => 'row2', FILTER => "
    (QualifierFilter (>=, 'binary:xyz')) AND (TimestampsFilter ( 123, 456))"}
  hbase> scan 't1', {FILTER =>
    org.apache.hadoop.hbase.filter.ColumnPaginationFilter.new(1, 0)}
  hbase> scan 't1', {CONSISTENCY => 'TIMELINE'}
  hbase> scan 't1', {ISOLATION_LEVEL => 'READ_UNCOMMITTED'}
  hbase> scan 't1', {MAX_RESULT_SIZE => 123456}

简单来说就是

scan+ '命名空间：表名' +过滤信息

scan 'hadoop:student'

image-20220702111749355

删除数据

两个格式：

hbase> t.delete 'r1', 'c1',  ts1

  hbase> t.delete 'r1', 'c1',  ts1, {VISIBILITY=>'PRIVATE|SECRET'}

Hbase的每个的列族都有对应的维护版本，也就是在创建列族的时候设置的，这里演示一下把info列族的维护版本修改为3.

alter 'hadoop:student',NAME=>'info',VERSIONS=>3

image-20220702112256959

也就是说每个单元格都有三个版本，如果使用第一中格式删除，只会删除最新的版本，第二张格式删除那么全部版本都删除掉。

这里我向同一个单元格再次加入两个数据：

put 'hadoop:student','1000','info:name','super_cool0'
put 'hadoop:student','1000','info:name','super_cool00'

查看：1000行显示了最新的数据。

image-20220702130603618

这时候我们删除最新的数据：

delete 'hadoop:student','1000','info:name'

image-20220702130734912

可以看到，这个单元格还有数据，只不过是上个版本的。

然后我们删除这个单元格的全部版本的数据，也就是清空这个单元格。

 deleteall 'hadoop:student','1000','info:name'

image-20220702131034060

11 总结

注意版本兼容性，我这几个版本兼容性是对的，若是想装其他版本，最好查一下兼容性。

super__cool
关注
专栏目录
HNU大数据并行处理–Hadoop伪分布式环境配置
qq_45894067的博客
06-30 296
Zookeeper------Hadoop------Hbase------Scala------Spark
HNU程序设计小学期题目五——俄罗斯方块
君陌的博客
10-28 388
一、问题描述 问题描述 　　俄罗斯方块是俄罗斯人阿列克谢·帕基特诺夫发明的一款休闲游戏。 　　游戏在一个15行10列的方格图上进行，方格图上的每一个格子可能已经放置了方块，或者没有放置方块。每一轮，都会有一个新的由4个小方块组成的板块从方格图的上方落下，玩家可以操作板块左右移动放到合适的位置，当板块中某一个方块的下边缘与方格图上的方块上边缘重合或者达到下边界时，板块不再移动，如果此时方格图的某一行...
HNU程序设计实训（小学期）.zip
11-11
HNU程序设计实训（小学期）.zip
HNU2022夏季小学期大数据并行处理MapReduce任务
S0609的博客
07-02 653
HNU2022夏季小学期大数据并行处理MapReduce任务
HNU小学期计算机系统设计与创新基础训练——基于STC学习板的加密信息存储与游戏操作系统(第二部分实现方式+代码讲解)
weixin_43973089的博客
05-08 3140
整个工程链接见文章末尾 HNU小学期计算机系统设计与创新基础训练——加密信息存储与游戏操作系统——第二部分六、 实现方式及关键代码1. 变量定义及对应功能宏定义变量定义2. 定时器3. 数码管4. 导航按键4.1 初始化4.2 获取AD子函数：4.3 获取按键值子函数：4.4 按键按下处理函数5. 蜂鸣器6. 按键7. 串口通信7.1串口初始化7.2 发送数据函数7.3 串口1中断处理函数8. 24C02读取与存储8.1 初始化8.2 主机启动、停止信号8.3 从机应答信号8.4 写/读字节8.5对24.
【hnu暑学期】数据库系统设计 准备阶段
qq_45795586的博客
06-23 844
那年杏花微雨，你说你是数据库，或许一开始便都是错的。如果学弟学妹们可以在暑学期选课前看到这篇博文的话快跑！快跑！快跑！本来是想着数据库比较水的，可以随便混一混就过去了。 但是当老师发下来十三万行的源码给我们的时候，我的心已经凉了。其实到现在还是没有什么头绪的，所以就先做一点然后记录一点吧。不过可能会烂尾嗷，毕竟我对我自己的能力还是有清楚的认知的嘿嘿嘿。这个是CMake官网的链接。 然后我是下载的这个版本的。 下载好之后，可以直接把这个保存到你的某个盘里，然后配置环境变量，在你的系统变量的path里面添加bi
湖南大学夏季小学期-数据库系统设计与实现-用VS2019编译Mysql8.0.25
BeAr_violet的博客
07-06 1675
1.准备工作，下面是需要安装下载的 （1）bison安装使用：下载时候选择“Completepackage exceptsources”,安装路径不要选择默认C:\ProgramFiles\GnuWin32，选 C:\GnuWin32，把C:\Gnuwin32\bin加载到PATH变量。 下载路径：http://gnuwin32.sourceforge.net/packages/bison.htm （2）Boost下载：https://www.boost.org/users/history/ 自己选择版本
HNU程序设计小学期题目四——数字排序
君陌的博客
10-28 716
一、问题描述 问题描述 　　给定n个整数，请统计出每个整数出现的次数，按出现次数从多到少的顺序输出。 输入格式 　　输入的第一行包含一个整数n，表示给定数字的个数。 　　第二行包含n个整数，相邻的整数之间用一个空格分隔，表示所给定的整数。 输出格式 　　输出多行，每行包含两个整数，分别表示一个给定的整数和它出现的次数。按出现次数递减的顺序输出。如果两个整数出现的次数一样多，则先输出值较小的，然后输...
HNU程序设计小学期题目二——数位之和
君陌的博客
10-27 638
一、问题描述 问题描述 　　给定一个十进制整数n，输出n的各位数字之和。 输入格式 　　输入一个整数n。 输出格式 　　输出一个整数，表示答案。 样例输入 20151220 样例输出 13 样例说明 　　20151220的各位数字之和为2+0+1+5+1+2+2+0=13。 评测用例规模与约定 　　所有评测用例满足：0 ≤ n ≤ 1000000000。 　　 二、问题分析及边界条件 问题分析： ...
hnu2021小学期程序设计 棋盘
qq_30747875的博客
07-15 341
目录题目思路(1) 如何输入(2)中间如何处理如何输出完整代码 题目 思路 思路我们还是分三步走 输入 中间处理 输出 (1) 如何输入 输入的话是一个整数以及一个与整数相关的棋盘，整数直接输入，棋盘的话用一个二维列表输入吧。由于每一行的整数之间没有分隔符，所以用join函数以及split函数将其处理成列表，用途是便于遍历。在此也声明一个字典，用于存放合理的棋盘的行数以及对应的个数。由于可能整个大棋盘是合理的所以还要加上键num，由于棋盘的棋子数一定大于0，故删去键为0的一项。 num=eval(inpu
Xshell-7.0.0056p.exe
02-03
XShell7免费版是一款高效专业的实用型免费SSH客户端。XShell简单强悍，支持标签式的环境，动态端口转发，自定义键的映射关系，用户定义的按钮，VB脚本，显示2字节字符和国际语言支持UNICODE的终端
Namenode 格式化
CJ_forever的博客
04-03 1万+
在经过多次练习后，对操作流程也很熟悉，先配置5个文件，关闭防火墙、selinux，然后namenode格式化，成功后起节点但架不住皮啊，后果就是错误极难发现这个就我昨儿碰到的，反复查看没辙，文件配置没毛病，防火墙和selinux也关着呢   一问老师，分分钟解决了！找不到问题，那就查看日志呗   直接切入根源所在，按着日志说的去查，搞定从这我体会到了日志的重要性，去网上也搜了一些查看日志的命令： ...
配置hadoop集群
ZYF2190003497的博客
11-09 683
。。
hadoop 安装_安装JDK和Hadoop
weixin_39571403的博客
11-26 522
上传JDK包和Hadoop包通过Xftp上传jdk和hadoop的安装包到 /opt/software的路径下通过Xshell连接虚拟机，注意用之前新建的用户操作，我的是niliu首先查询是否安装javajava -version结果发现已经安装过java了，如果版本低于1.7就应该卸载，这里我们卸载重装一次输入：rpm -qa|grep java 查看Java安装包名称卸载：rpm -qa|...
css reset Vue中页面铺不满、字体大小不固定等解决方法
l963937050的博客
01-05 513
css reset Vue中页面铺不满、字体大小不固定等解决方法
zookeeper系列：单机模式部署
哇哇哇，真的学到了！！！
01-19 4044
一、官方网站下载安装包 Index of /zookeeper 选择需要的版本，下载相关压缩包（例：apache-zookeeper-3.7.0-bin.tar.gz） 二、正式安装 1、解压目录，并且新建data目录 [root@i-slebi7x6 opt]# cd zookeeper/ [root@i-slebi7x6 zookeeper]# ls apache-zookeeper-3.7.0.tar.gz [root@i-slebi7x6 zookeeper]# tar -z..
Zookeeper已经设置了myid文件但是依然报错myid file is missing
微电子学与固体电子学-俞驰
05-16 6193
完整报错: (Python3.6) appleyuchi@Desktop:logs$ cat zookeeper-appleyuchi-server-Desktop.out SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/appleyuchi/bigdata/apache-zookeeper-3.6.0-bin/lib/slf4j-log4j12-1.7.25.jar!
【大数据】启动zookeeper报错：ERROR [main:QuorumPeerMain@85] - Invalid config, exiting abnormally
debimeng
04-01 1万+
启动zookeeper报错：ERROR [main:QuorumPeerMain@85] - Invalid config, exiting abnormally 场景： 1.给三台机器安装zookeeper集群报错：ERROR [main:QuorumPeerMain@85] - Invalid config, exiting abnormally 2.环境描述 系统：...
zookeeper集群无法正确启动
热门推荐
u014284000的博客
07-05 6万+
zookeeper启动报错，云主机虚拟ip，连接不上zookeeper
hnu小学期学习板说明
最新发布
07-12
HNU小学期学习板可能是某个特定教育机构或高校华中师范大学（HNU）为学生设计的一个在线平台，它通常用于组织和管理短期的学习项目、课程内容、作业提交以及教学资源分享。这个学习板可能包括以下功能： 1. **课程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值