2024年最新Hadoop生态&组件部署大总结(1),2024年最新web前端面试官问上家公司有多少人怎么回答

最后

在面试前我花了三个月时间刷了很多大厂面试题,最近做了一个整理并分类,主要内容包括html,css,JavaScript,ES6,计算机网络,浏览器,工程化,模块化,Node.js,框架,数据结构,性能优化,项目等等。

包含了腾讯、字节跳动、小米、阿里、滴滴、美团、58、拼多多、360、新浪、搜狐等一线互联网公司面试被问到的题目,涵盖了初中级前端技术点。

  • HTML5新特性,语义化

  • 浏览器的标准模式和怪异模式

  • xhtml和html的区别

  • 使用data-的好处

  • meta标签

  • canvas

  • HTML废弃的标签

  • IE6 bug,和一些定位写法

  • css js放置位置和原因

  • 什么是渐进式渲染

  • html模板语言

  • meta viewport原理

hdfs-site.xml

dfs.nameservices

jed

dfs.ha.namenodes.jed

nn1,nn2

dfs.namenode.rpc-address.jed.nn1

「NAME 1」:9000

dfs.namenode.http-address.jed.nn1

「NAME 1」:50070

dfs.namenode.rpc-address.jed.nn2

「NAME 2」:9000

dfs.namenode.http-address.jed.nn2

「NAME 2」:50070

dfs.namenode.shared.edits.dir

qjournal://「NAME 1」:8485;「NAME 2」:8485;「DataNode HOST n」:8485/jed

dfs.journalnode.edits.dir

「$PATH」/jd

dfs.ha.automatic-failover.enabled

true

dfs.client.failover.proxy.provider.jed

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

dfs.ha.fencing.methods

sshfence

shell(/bin/true)

dfs.ha.fencing.ssh.private-key-files

/root/.ssh/id_rsa

dfs.ha.fencing.ssh.connect-timeout

20000

mapred-site.xml

mapreduce.framework.name

yarn

yarn-site.xml

yarn.resourcemanager.ha.enabled

true

yarn.resourcemanager.cluster-id

Cyarn

yarn.resourcemanager.ha.rm-ids

rm1,rm2

yarn.resourcemanager.hostname.rm1

「HashNode HOST 1」

yarn.resourcemanager.hostname.rm2

「HashNode HOST 2」

yarn.resourcemanager.zk-address

「NAME 1」:2181,「NAME 2」:2181,「HashNode HOST n」:2181

Hive

===================================================================

设置 hive-env.sh 配置文件


进入 hive-0.12.0/conf 目录,复制 hive-env.sh.templaetehive-env.sh

cd /app/hive-0.12.0/conf

cp hive-env.sh.template hive-env.sh

sudo vi hive-env.sh

分别设置 HADOOP_HOMEHIVE_CONF_DIR 两个值:

export HADOOP_HOME=/app/hadoop-1.1.2

export HIVE_CONF_DIR=/app/hive-0.12.0/conf

设置 hive-site.xml 配置文件


复制 hive-default.xml.templaetehive-site.xml

cd /app/hive-0.12.0/conf

cp hive-default.xml.template hive-site.xml

sudo vi hive-site.xml

加入配置项

默认 metastore 在本地,添加配置改为非本地。

hive.metastore.local

false

修改配置项

hive 默认为 derby 数据库,需要把相关信息调整为 mysql 数据库。

hive.metastore.uris

thrift://hadoop:9083

javax.jdo.option.ConnectionURL

jdbc:mysql://hadoop:3306/hive?=createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hive

javax.jdo.option.ConnectionPassword

hive

mysql驱动jar包


放置到 $HIVE_HOME/lib

mv mysql-connector-java-5.1.32-bin.jar /opt/home/apache-hive-1.2.1-bin/lib/

订正错误项


hive.metastore.schema.verification 配置项值修改为 false。

hive.metastore.schema.verification

false

/app/hive-0.12.0/conf/hive-site.xml 文件中的大概在 2000 行位置左右

把原来的 <value>auth</auth> 修改为 <value>auth</value>,如下所示:

hive.server2.thrift.sasl.qop

auth

Flume

====================================================================

设置 flume-env.sh 配置文件

$FLUME_HOME/conf 下复制改名 flume-env.sh.templateflume-env.sh,修改 conf/ flume-env.sh 配置文件

cd /app/flume-1.5.2/conf

cp flume-env.sh.template flume-env.sh

sudo vi flume-env.sh

修改配置文件内容

JAVA_HOME= /app/lib/jdk1.7.0_55

JAVA_OPTS=“-Xms100m -Xmx200m -Dcom.sun.management.jmxremote”

Sqoop

====================================================================

设置 bin/configure-sqoop 配置文件


修改 bin/configure-sqoop 配置文件。

cd /app/sqoop-1.4.5/bin

sudo vi configure-sqoop

注释掉 HBase 和 Zookeeper 等检查(除非使用 HBase 和 Zookeeper 等 HADOOP 上的组件)。

设置 conf/sqoop-env.sh 配置文件


如果不存在 sqoop-env.sh 文件,复制 sqoop-env-template.sh 文件,然后修改 sqoop-env.sh 配置文件。

cd /app/sqoop-1.4.5/conf

cp sqoop-env-template.sh sqoop-env.sh

sudo vi sqoop-env.sh

设置 hadoop 运行程序所在路径和 hadoop-*-core.jar 路径(Hadoop1.X 需要配置

export HADOOP_COMMON_HOME=/app/hadoop-1.1.2

export HADOOP_MAPRED_HOME=/app/hadoop-1.1.2

编译配置文件 sqoop-env.sh 使之生效。

Kafka

====================================================================

Kafka所有的配置文件都在“** K A F K A H O M E / c o n f i g ∗ ∗ ” 目 录 下 , 修 改 以 下 配 置 文 件 前 , 需 要 切 换 到 “ KAFKA_HOME/config**”目录下,修改以下配置文件前,需要切换到“ KAFKAH​OME/config∗∗”目录下,修改以下配置文件前,需要切换到“KAFKA_HOME/config”目录。

cd $KAFKA_HOME/config

修改server.properties文件


vim server.properties

内容修改如下:

broker.id=0

port=6667

host.name=agent1

log.dirs=/data/data1/kafka

zookeeper.connect=agent1:2181,agent2:2181,agent3:2181

| 其中,参数host.name可填写agent1对应的IP地址log.dirs为实际的存储数据路径

修改节点相关参数。


登录agent2,修改server.properties。

vim server.properties

内容修改如下:

broker.id=1

host.name=agent2 #可填对应的IP地址

登录agent3,修改server.properties。

vim server.properties

内容修改如下:

broker.id=2

host.name=agent3 #可填对应的IP地址

Spark

====================================================================

Spark所有的配置文件都在“** S P A R K H O M E / c o n f ∗ ∗ “ 目 录 下 , 修 改 以 下 配 置 文 件 前 , 切 换 到 “ SPARK_HOME/conf**“目录下,修改以下配置文件前,切换到“ SPARKH​OME/conf∗∗“目录下,修改以下配置文件前,切换到“SPARK_HOME/conf”目录。

cd $SPARK_HOME/conf

修改spark-env.sh


  1. 以spark-env.sh.template为模板,拷贝一份命名为spark-env.sh。

cp spark-env.sh.template spark-env.sh

  1. 编辑spark-env.sh文件。

export JAVA_HOME=/usr/local/jdk8u252-b09

export HADOOP_HOME=/usr/local/hadoop

export SCALA_HOME=/usr/local/scala

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export HDP_VERSION=3.1.0

修改spark-defaults.conf


修改文件

echo “spark.master yarn” >> spark-defaults.conf

echo “spark.eventLog.enabled true” >> spark-defaults.conf

echo “spark.eventLog.dir hdfs://server1:9000/spark2-history” >> spark-defaults.conf

echo “spark.eventLog.compress true” >> spark-defaults.conf

echo “spark.history.fs.logDirectory hdfs://server1:9000/spark2-history” >> spark-defaults.conf

同步hadoop的core-site.xml和hdfs-site.xml


同步文件

cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/spark/conf

cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/spark/conf

同步mariadb-java-client包


同步文件

cp /usr/local/hive/lib/mariadb-java-client-2.3.0.jar /usr/local/spark/jars

Hbase

HBase所有的配置文件都在“HBASE_HOME/conf”目录下,修改以下配置文件前,切换到“HBASE_HOME/conf”目录。

cd $HBASE_HOME/conf

修改hbase-env.sh


修改环境变量JAVA_HOME为绝对路径,HBASE_MANAGES_ZK设为false。

export JAVA_HOME=/usr/local/jdk8u252-b09

export HBASE_MANAGES_ZK=false

export HBASE_LIBRARY_PATH=/usr/local/hadoop/lib/native

修改hbase-site.xml


vim hbase-site.xml

添加或修改configuration标签范围内的部分参数。

hbase.rootdir

hdfs://server1:9000/HBase

hbase.tmp.dir

/usr/local/hbase/tmp

hbase.cluster.distributed

true

hbase.unsafe.stream.capability.enforce

false

hbase.zookeeper.quorum

agent1:2181,agent2:2181,agent3:2181

最后

喜欢的话别忘了关注、点赞哦~

开源分享:【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】

前端校招面试题精编解析大全

  • 22
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值