ambari集群
文章平均质量分 61
光圈1001
从事于金融反欺诈系统大数据研发工作
展开
-
搭建ambari过程中必需的本地池配置文件repo文件记录
1.ambari.repo#VERSION_NUMBER=2.6.2.2-1[ambari-2.6.2.2]name=ambari Version - ambari-2.6.2.2baseurl=http://master01/ambari/centos7/2.6.2.2-1/gpgcheck=0gpgkey=http://master01/ambari/centos7/2.6.2.2...原创 2018-11-06 14:54:40 · 1414 阅读 · 1 评论 -
YARN-Cluster和YARN-Client的区别
理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念:Application Master。在YARN中,每个Application实例都有一个ApplicationMaster进程,它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源,获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YA...转载 2018-11-13 10:55:55 · 642 阅读 · 0 评论 -
测试flume、kafka 组件遇到的几个问题
1.flume采用netcat的方式测试服务是否正常启动的异常:ERROR org.apache.flume.source.NetcatSource - Unable to bind to socket. Exception follows.java.net.BindException: Address already in use原因:flume中的source设置的端口被占用 换一个...原创 2018-11-08 18:41:01 · 984 阅读 · 0 评论 -
spark性能优化事项参考
(1)使用Kryo进行序列化。在spark中主要有三个地方涉及到序列化:第一,在算子函数中使用到外部变量时,该变量会被序列化后进行网络传输;第二,将自定义的类型作为RDD的泛型数据时(JavaRDD,Student是自定义类型),所有自定义类型对象,都会进行序列化。因此这种情况下,也要求自定义的类必须实现serializable借口;第三, 使用可序列化的持久化策略时,spark会将RDD中的每...原创 2018-11-12 09:50:48 · 142 阅读 · 0 评论 -
重启集群之后,ambari与主机失去心跳无法恢复的解决办法
启动ambari服务表示已经存在:ERROR: ambari-agent already running异常:the server has not received a heartbeat from this host for more than 3 minutes 3分钟之后失去心跳了**=========================stop 启动 和restart 都不行,...原创 2018-11-12 20:22:02 · 4665 阅读 · 2 评论 -
ambari失去心跳同时无法连接其中一台datanode的错误
状况:ssh连接不上 、其他的主机无法ping 通 、也无法ssh登陆 amabri 集群失去心跳ambari的服务停止无法解决检查了hosts正常检查ip地址!!!!!!!!!可能是由于路由器动态分配了一个新的地址电脑的ip的自动分配,要讲自动分配修改为静态ip,再将自己的ip 和子网掩码配置,即可怎么在linux上永久修改IP地址:https://jingyan.baid...原创 2018-11-12 20:27:35 · 861 阅读 · 0 评论 -
spark 提交submit任务的shell脚本
*sudo -u hdfs /usr/hdp/2.6.5.0-292/spark2/bin/spark-submit –master yarn –deploy-mode cluster –driver-cores 1 –driver-memory 2g –num-executors 3 –executor-memory 1g –executor-cores 1 –class mai...原创 2019-03-22 10:56:58 · 2231 阅读 · 3 评论