![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 57
徐小慧_Blog
这个作者很懒,什么都没留下…
展开
-
Ambari动态添加节点
Ambari添加节点背景措施操作步骤背景某一天发现作为postgre数据库的节点在ambari不显示了措施把丢失节点添加回来操作步骤1.点击Host,再点击Add new hosts2.查看vi /etc/hosts 主机名称填写到host name 位置;上传添加节点的秘钥 id_rsa如下图:3. 点击 Register and Confirm4. 点击OK5. 可以看到已添加成功,点击next6. 选择要添加的slave & clients,我选择了flume.原创 2021-09-01 17:22:32 · 650 阅读 · 2 评论 -
Ambari 服务器节点动态换盘操作
ambari 服务器节点动态换盘操作1. 操作背景2. 操作方案3. 操作步骤(ambari-agent开机自启动)3.1 服务器192.168.11.22 启动维护模式3.2 运维人员进行换内存操作3.3 换内存完成3.4 关闭维护模式3.5 启动该主机所有的服务3.6 重启spark数据处理应用4. 监控集群1. 操作背景基于ambari的HDP集群其中一spark节点出现内存盘损坏故障。Applicaton是Spark on yarn的模式,共8台Spark节点。不要怕,大胆的开启host Le原创 2021-08-13 10:37:03 · 1023 阅读 · 6 评论 -
Ambari的Metrics Collector启动后自动关闭的解决
在使用Ambari的时候,由于种种原因,难免会出现这样那样的问题。今天,我们就来看一下Ambari-Metrics启动成功几秒钟后又自动关闭的解决办法。1.如下图,某一节点Metrics Collector 启动后自动关闭2.在安装Ambari-Metircs的机器上面查看服务是否关闭:使用ambari-metrics-monitor status和ambari-metrics-collector status命令查看。可以看到ambari-metrics-collector是停止状态。3.如果服原创 2021-08-30 16:01:41 · 1780 阅读 · 4 评论 -
HDP官网文档查找攻略
访问官网地址:https://docs.hortonworks.com/index.html点击HDP可以看到相关文档链接,也可以选择相关版本点击相关版本查看相关文档原创 2021-08-25 14:58:16 · 1225 阅读 · 0 评论 -
如何正确的关闭ElasticSearch集群
如何正确的关闭ElasticSearch集群问题原因其本质原因有两点:如何正确的关闭ES或者ES集群如何启动ES集群问题原因其本质原因有两点:ES中的数据不是实时写入磁盘的。数据进入ES后先进入data buffer和log buffer,然后进入数据段,最后再特定时机下才刷入磁盘。即在内存中有很多数据是没写入磁盘的。ES的自动分片机制。当集群发现经过一分钟后(index.unassigned.node_left.delayed_timeout参数设置)还连接不上某个节点,就会把集群内的数据重新进行分原创 2021-08-02 10:53:42 · 1311 阅读 · 0 评论 -
Scala中样例类和普通类的区别
Scala中样例类的设计主要是为了代替Java语言中的JavaBean和RPC通信使用,普通类和样例类之间的区别总结如下:首先创建一个样例类:object CaseClassDemo { def main(args: Array[String]): Unit = { val user:User = User("zhangsan",26) }}case class User(name:String,age:Int)二者之间的区别可以从编译后产生的.class文件中得知,原创 2021-08-12 09:53:48 · 371 阅读 · 0 评论 -
HDFS常用命令(总结)
1.查看hdfs下根目录下的文件hdfs dfs -ls /2.查看hdfs某个目录下的所有文件结构:如:查看根目录所有文件结构hdfs dfs -ls -R /hdfs dfs -lsr /如:查看根文件tmp下的所有文件列表hdfs dfs -ls -R /tmp/hdfs dfs -lsr /tmp/3.创建文件夹如:在根文件的test目录下,创建test2hdfs dfs -mkdir /test/test2或者:hdfs dfs -mkdir hdfs://49.原创 2021-06-28 17:12:46 · 15580 阅读 · 1 评论 -
docker安装superset并配置mysql
1、获取docker镜像docker search supersedocker pull amancevice/superset2、查看镜像docker images3、安装镜像启动Superset容器 docker run -p 8088:8088 -d amancevice/superset4、查看启动镜像docker ps |grep superset配置superset容器并初始化用户名和密码docker exec -it 86f9d3e0072b supers原创 2021-06-28 17:06:26 · 1317 阅读 · 1 评论