![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
hadoop的一些内容
大数据的江湖
天道酬勤
天行健,君子以自强不息;
地势坤,君子以厚德载物.
展开
-
生产大数据集群架构图
大数据集群架构图说明可能出现的问题架构图根据自己的数据量1)20核物理CPU 40线程 * 7 = 280线程内存128g * 7台 = 896g (计算任务内存700g,其他安装框架需要内存)128m ----1g内存87g数据 ---- 700g内存2)根据数据规模搭建集群模拟的10台机器说明1)消耗内存的分开;2)kafka 、zk 、flume 传输数据比较紧密的放在一起;3)客户端尽量放在一到两台服务器上,方便外部访问;4)还有就是MySQL,sqoop,azka原创 2020-11-29 23:19:11 · 1017 阅读 · 0 评论 -
hadoop集群启动遇到的问题之hadoop1启动,集群别的机器hadoop2,hadoop3没有启动
hadoop群起的问题hadoop1正常启动,但是hadoop2,3都是不正常分析问题解决方法hadoop1正常启动,但是hadoop2,3都是不正常– 自己搭的hadoop群起服务,第一台机器是正常启动,但是第二台就没有datanodes,第三台也么有分析问题– 分析了一下,感觉就是要不ssh免密没做好,– 要不就是群起配置有问题,– 最后就是初始化出现问题;解决方法1,先是进去.ssh文件看了下,没有问题,并且手动测试了ssh相互登录,可以;2,再去看看了关键的群起配置,这五大原创 2020-06-25 11:51:10 · 2626 阅读 · 0 评论 -
hadoop之本地跑的出现Exception in thread main org.apache.hadoop.mapred.FileAlreadyExistsException
报错解决出现报错解决问题出现报错一般本地跑出现的问题Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/E:/bdexer/output5-1 already exi解决问题这就是输出的文件出错导致的,可以删掉即可...原创 2020-06-21 11:29:02 · 1720 阅读 · 2 评论 -
大数据之hadoop的环境变量及客户端测试
HDFS的客户端安装HDFS客户端环境准备测试安装写个demoHDFS客户端环境准备–1.下载好hadoop3.0.0–2配置好环境变量测试安装–cmdwinutils有反应的话,就是可以的写个demo**1用idea创建一个maven项目,添加如下依赖: <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</原创 2020-06-14 23:04:03 · 305 阅读 · 0 评论