- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大数据集群问题总结
1.集群子节点dataanode起不起来 2.在安装CDH的时候监控不到节点 a.首先看在各个agent节点中在cm-5.14.4/etc/cloudera-scm-agent/路径下的config.ini中的server_host=主节点，配置没 3.如果安装CDH失败 a.先停止所有的agent和server服务 cloudera-scm-agent stop ;cloudera-scm-server stop b.删除所有agent的uuid rm -rf cm-5.12.1/lib/clouder
2020-09-29 17:16:01
517
原创 大数据集群各种压测
本次主要是对新集群的性能测试，测试环境： 系统 环境 台数 CPU 内存 硬盘 Centos7.3 CDH6.0.1 3台 32 64G 16T Hadoop自带的测试工具：Hadoop基准测试 首先，对服务器做一下测试，主要是磁盘I/O和网络I/O。 磁盘I/O 读测试 hdparm 用于查看硬盘的相关信息或对硬盘进行测速、优化、修改硬盘相关参数设定。这里只用作磁盘读测试。 yum install hdparm hdparm -t /dev/sdd 三次测试结果： /dev/sdd: Timing buf
2020-09-29 15:10:54
925
1
原创 Flink的流处理的wordCount
Flink的流处理的wordCount 对于Flink的流处理模式，下面的代码块完整的说明了Flink处理wordCount的过程 import org.apache.flink.api.java.utils.ParameterTool import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironme...
2020-05-08 11:36:56
193
原创 关于Hive的窗口函数
关于Hive的窗口函数 Hive是有一些窗口的大小限制 相关函数的说明： OVER()：指定分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化 CURRENT ROW：当前行 n PRECEDING：往前n行数据 n FOLLOWING：往后n行数据 UNBOUNDED：起点，UNBOUNDED PRECEDING 表示从前面的起点， UNBOUNDED FOLLOWING表示到后...
2020-05-08 11:28:32
145
CDH完整线上安装文档 .docx
2020-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人