Hadoop
拉倒就拉倒
这个作者很懒,什么都没留下…
展开
-
Hadoop版本区别&Hadoop组成
1. Hadoop版本差异Hadoop 1.xhadoop 2.xMapReduce(计算+资源调度)MapReduce(计算)——Yarn(资源调度)HDFS(数据存储)HDFS(数据存储)Common(辅助工具)Common(辅助工具)在Hadoop1.x 时代,Hadoop中的Mapreduce同时处理业务逻辑运算和资源的调度,耦合性较大...原创 2019-09-12 21:56:18 · 2145 阅读 · 0 评论 -
Hadoop-大数据技术生态体系
一、大数据技术生态体系示意图1. 数据来源层结构化数据:订单,支付记录等。半结构化数据:用户行为等。2.数据传输层数据不会直接进入到数据分析体系,需要传输层进行数据的传递。3.数据存储层HDFS是主流,Kafka可以缓存数据。4.资源管理层分配计算资源,CPU,内存,网络等。5.数据计算层Hive到Spark Sql是离线计算,比如用于月度总结,年度总结Spark ...原创 2019-09-12 23:07:26 · 327 阅读 · 0 评论 -
hadoop安装与启动
安装教程:http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/日常启动的一些操作:1. Hadoop 运行程序时,输出目录不能存在,否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/use...转载 2019-09-17 10:20:11 · 658 阅读 · 0 评论