Cloudera hadoop配置文件地址和修改配置属性方法

10 篇文章 0 订阅
1 篇文章 0 订阅

问题导读
1.cloudera 的配置文件路径默认在什么位置?
2.如何通过cloudera manager web UI修改配置文件?


配置文件地址:

Hadoop: /etc/hadoop/conf
hbase: /etc/hadoop/conf
hive: /etc/hive/conf

使用cloudera manager web UI 修改hadoop .xml文件属性方法:

For Cloudera the best way to push this configuration to the nodes is to use the Cloudera manager GUI.


 
From the Cloudera web page, click on the HDFS service under Status to open the HDFS service.
 
Click Configuration, and choose View and Edit
 
On the left panel expand Service-Wide and click advance
 
Click on Cluster-wide Configuration Safety Valve for core-site.xml
Enter the setting from Table above

 
Settings entered into core-site safety valve
 
At the top right of the page, Click Save Changes
 
Go back to the Cloudera Manager Home screen. Using the drop down stop the HDFS service.
 
Using the drop down next to the Status, deploy the client configuration
g
 
Using the drop down, restart the Mapreduce service.


 


Check that the nodes have received the correct configuration. From the CLI on a node do a grep on the core-site.xml and search for HSK
cat /etc/hadoop/conf.cloudera.hdfs1/core-site.xml |grep HSK


Next Upload the Java ViPR client JAR file to a client using WinSCP and copy it to the Hadoop Classpath on all Hadoop nodes.


 

On the first node where you have uploaded the ViPr client copy it to the Cloudera Classpath
cp hadoop-2.0.x-alpha-viprfs-1.0.1.jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hadoop/lib


 

Copy it to all the other nodes in your cluster using the scp command. Do this for all hosts.


 


Validate that the connection is working with a hadoop list command. First using the ViPR URL then just a normal Hadoop list:



修改Hive配置文件路径的方法: hive1->configuration->view and edit->default->HiveServer2->Advanced 

如果想对hive-site.xml的修改存储在Cloudera Manager,则可通过上面的方法选择Hive Service Configuration Safety Valve for hive-site.xml来添加属性。
如果想要将所添加的属性,出现在服务器的/etc/hive/conf/hive-site.xml文件中,则可以hive1->configuration->view and edit->default->Gateway->Advanced->Hive Client Configuration Safety Valve for hive-site.xml

Be sure to restart Hive, restart any dependent services (Hue and Impala), and deploy client configs after making a configuration change.
配置Cloudera管理Hadoop集群,您可以按照以下步骤进行操作: 1. 打开Cloudera管理控制台:在Web浏览器中输入Cloudera管理节点的IP地址或主机名,加上Cloudera管理端口(默认为7180),例如:http://<Cloudera管理节点IP>:7180。 2. 登录到Cloudera管理控制台:使用您的管理员凭据登录到Cloudera管理控制台。 3. 添加Hadoop集群:在控制台界面上,点击"添加集群"按钮,然后按照提示填写有关Hadoop集群的信息,包括名称、版本、主机等。确保填写正确的Hadoop服务角色和主机。 4. 配置Hadoop服务:在集群添加完成后,您将看到一个集群概览页面。点击"服务"选项卡,然后选择您想要配置Hadoop服务(例如HDFS、YARN、MapReduce等)。 5. 配置服务角色:对于每个Hadoop服务,您需要为其配置不同的服务角色。点击服务名称,然后选择"配置"选项卡。在这里,您可以设置各种参数和属性,例如数据目录、内存分配、端口等。 6. 启动和测试服务:完成配置后,您可以点击"启动"按钮来启动相应的Hadoop服务角色。在启动完成后,您可以进行一些测试操作,例如上传文件到HDFS、提交MapReduce作业等。 7. 监控和管理:Cloudera管理控制台还提供了集群的监控和管理功能。您可以在控制台上查看集群的健康状态、性能指标、日志信息等,并进行必要的管理操作。 请注意,以上步骤仅为基本配置步骤,您可能还需要根据实际需求进行其他更详细的配置。同时,建议您参考Cloudera的官方文档和指南,以获取更详细的配置说明和最佳实践建议。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值