![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Lidisam
一路有TA同行
展开
-
Hadoop常见错误及解决方案
1 hadoop集群启动之后dataNode节点没有启动 启动Hadoop集群之后slave机器的dataNode节点没有启动 master机器的nameNode节点启动了 1、 先/stop-all.sh暂停所有服务 2、删除hadoop目录下的 logs、tmp文件夹(DataNode存放数据块的位置) 3、重新格式化: (同样是在bin目录下)./hadoop namenode...原创 2018-09-14 22:30:18 · 758 阅读 · 0 评论 -
Hadoop入门小例子WordCount
参考自书籍《Hadoop+Spark 大数据巨量分析与机器学习》 1 编写测试程序例子 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Te...原创 2018-09-14 22:36:00 · 664 阅读 · 0 评论 -
Hadoop集群搭建教程
环境: centos 6.5 (ip:192.168.80.100、192.168.80.101) jdk 1.7 hadoop 2.8.4 ip 进程 192.168.80.100(master) namenode 192.168.80.101(slave) datanod...原创 2018-08-19 23:06:58 · 366 阅读 · 0 评论 -
Spark单机与集群安装与简单命令行使用
参考自书籍《Hadoop+Spark 大数据巨量分析与机器学习》环境依赖: jdk 1.7 hadoop 2.8.4 (hadoop安装请见https://blog.csdn.net/qq_28666081/article/details/81843369) scala 2.11.6 spark 2.1.21 安装scala $ wget https://www.scala-lang.org...原创 2018-09-14 22:42:23 · 816 阅读 · 0 评论 -
《Google File System》阅读散记
以下纯属散记,属于片面知识记录,如无阅读过对应论文《Google File System》请勿往下阅读。 如了解可先阅读:GFS浅析:https://www.cnblogs.com/lushilin/p/8665178.html GFS适用于以下场景 1 认为组件失效是一种常态,提供了容错机制,自动负载均衡,使得分布式文件系统可以在廉价机器上运行 2)面向...原创 2019-06-05 23:14:35 · 2379 阅读 · 0 评论