Linux-本地单机大数据测试环境.md# Linux单机大数据环境-本地开发测试环境

本文链接：https://blog.csdn.net/Sahag321/article/details/104527567

Linux-本地单机大数据测试环境.md# Linux单机大数据环境-本地开发测试环境

ssh

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(2019-04-14_23-29.png)(http://mypicbed.top:8014/images/2020/02/29/2019-04-14_23-29.md.png)]

ssh登录两种需要输入内容校验的情况

注意:localhost不等同127.0.0.1,也与majia-pc不同:这是ssh 主机;

想要免密登录以下命令不要输入任何字符,负责登录时会校验rsa字符串

ssh-keygen -t rsa -C "majia@localhost" -f local_rsa

对应生成的pub内容后缀:

majia@localhost;如果是majia-pc就是majia@majia-pc

执行命令:就可以免密登录localhost

cat local_rsa.pub >> ./authorized_keys

注意linux默认不开启ssh服务端,一旦有连接22端口就会报错:

22端口 refuse conn,只开启客户端:开启服务

systemctl start  sshd.service

*注：masters文件用于指定secondary的主机而不是namenode，slaves用于指定datanode和tasktracker，

即使没有master或者master文件为空默认当前主机启动SNN,除非注释掉dfs的SNN启动停止脚本内容;

hadoop standalone模式下在家目录下生成数据文件夹(即配置文件不生效).为了使用自己的目录最好执行hadoop namenode -format 做成伪分布式模式(配置文件生效)

注意:执行命令前namenode的配置hdfs://127.0.0.1:9001不能是localhost的否则还是启动不了namenode,报错说家目录下生成的数据文件夹找不到;数据文件夹不要有中文路径

debian系红旗系区别:

debian系设置开机启动

systemctl enable httpd.service

红旗系:chkconfig httpd start

Flume

flume-env.sh配置

export JAVA_HOME=/usr/lib/jvm/default-runtime/

FLUME_CLASSPATH="/opt/apache-flume-1.8.0-bin/lib"

/opt/apache-flume-1.8.0-bin/bin/flume-ng agent --conf conf --conf-file /opt/apache-flume-1.8.0-bin/conf/flume-conf.propertie --name 配置文件组件前缀即agent名字 -Dflume.root.logger=INFO,console

ZOOKEEPER

配置文件

dataDir=/home/majia/hadoopdata/zookeeper
clientPort=2181

Kafka

0.8单机模式配置文件

server.properties配置

broker.id=0
port=9092
host.name=localhost
log.dirs=/home/majia/hadoopdata/kafka/
log.cleaner.enable=true
zookeeper.connect=localhost:2181/kafka

zookeeper.properties

dataDir=/home/majia/hadoopdata/zookeeper/

启动kafka

 bash /opt/kafka_2.11-0.8.2.2/bin/kafka-server-start.sh config/server.properties

创建主题

/opt/kafka_2.11-0.8.2.2/bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeeper localhost:2181/kafka

创建消费者

/opt/kafka_2.11-0.8.2.2/bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --topic test

创建生产者

/opt/kafka_2.11-0.8.2.2/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

HADOOP-伪分布式

SSH配置如上:开启sshd开机服务,创建localhost免密登录
创建所需文件夹var,dfs/name|data,tmp
配置hadoop的配置文件

hadoop-env.sh

   export JAVA_HOME=/usr/lib/jvm/default-runtime/

core-site.xml

<property>
 <name>hadoop.tmp.dir</name>
 <value>/home/majia/hadoopdata/tmp/</value>
 <description>Abase for other temporary directories.</description>
</property>
<property>
 <name>fs.default.name</name>
 <value>hdfs://127.0.0.1:9001</value>
</property>

hdfs-site.xml

<property>
   <name>dfs.name.dir</name>
   <value>/home/majia/hadoopdata/dfs/name/</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/home/majia/hadoopdata/dfs/data/</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

mapred-site.xml

<property>
      <name>mapred.local.dir</name>
       <value>/home/majia/hadoopdata/var/</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

格式化namenode

/opt/hadoop-2.8.1/bin/hadoop namenode -format

ElasticSearch

修改es安装目录所属用户组和用户(如果是在普通用户sudo mv 到/opt/下默认/opt/es/属于该普通用户就不用修改)

修改配置文件elasticsearch.yml

cluster.name: es-v5
node.name: esv5-0
path.data: /home/majia/下载/esdatav5

Kibana

解压mv到/opt/目录下即可,不需要额外配置.=Linux-本地单机大数据测试环境.md

如果你觉得有所收获，请打赏小的，支持创作