Yarn框架下的系统部署

最新推荐文章于 2024-08-08 19:38:19 发布

zealscott

最新推荐文章于 2024-08-08 19:38:19 发布

阅读量1.3k

点赞数 1

分类专栏： DistributionSystem 文章标签： yarn hadoop spark

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/crazy_scott/article/details/84024030

版权

本文介绍了如何在Yarn框架下进行Hadoop和Spark的本地部署，包括修改配置文件、重启服务等步骤，并详细阐述了如何通过Yarn查看作业，包括在浏览器中查看、使用hadoop和spark提交任务，以及如何查阅Yarn的日志。

摘要由CSDN通过智能技术生成

使用yarn部署hadoop和spark

使用Yarn本地部署Hadoop

修改配置文件

首先修改mapred-sit.xml文件：

cd /usr/local/hadoop/etc/hadoop
mv mapred-site.xml.template mapred-site.xml

54206786600

修改为：

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

最低0.47元/天解锁文章

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

zealscott CSDN认证博客专家 CSDN认证企业博客

码龄7年

196: 原创

3万+: 周排名

199万+: 总排名

69万+: 访问

: 等级

6979: 积分

317: 粉丝

386: 获赞

118: 评论

1745: 收藏

私信

关注

热门文章

分类专栏

最新评论

KMP算法详解（C++实现）
2401_84256088: 又臭又长还有错，看我写的 /** * @param s 待匹配的字符串 * @param p 模式串 * @return s是否包含p * next[j]表示以p[j]结尾的子串，的最长相等先后缀的长度 */ bool kmp (const string &s, const string &p) { int n = s.size(), m = p.size(), next[m], i, j, k; next[0] = 0; for (j = 1; j < m; j++) { for (k = next[j-1]; k && p[j] != p[k]; k = next[k - 1]); next[j] = p[j] == p[k] ? k + 1 : 0; } for (i = 0, j = 0; i < n && j < m;) { if (s[i] == p[j]) i++, j++; else j = next[j]; } return j == m; }
矩阵求导法则与性质
Jerry fk: 我也在纠结这玩意儿，我刚看了定义，他那个刚好写反了
hexo下LaTeX无法显示的解决方案
风翼飞镰: 这是关键啊:CDN地址！
python plot hist 密度图概率和不为1
尚未填写: 有用，感谢！想要绘制多组数据的概率图的话，只需把不同的weights添加到一个列表即可，比如： x_value = [train_points, test_points] train_weights = np.ones_like(train_points)/float(len(train_points)) test_weights = np.ones_like(test_points)/float(len(test_points)) weights = [train_weights, test_weights] plt.hist(x_value, bins=10, histtype="bar", alpha=0.5, label=["training set", "test set"], weights=weights) plt.legend() plt.show()
根据坐标点位置计算方位角（python实现）
Auto_yaoyao: 请问你计算的方位角是地面的？是当前时刻还是下一时刻

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。