- 博客(4)
- 资源 (25)
- 收藏
- 关注
原创 Hadoop-hdfs
简介 HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统 HDFS有很多特点: ① 保存多个副本,且提供容错机制,副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③ 适合大数据的处理
2016-09-28 10:44:24 489
转载 Hadoop-yarn
1.1 YARN 基本架构 YARN是Hadoop 2.0中的资源管理系统,它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 其中ResourceManager负责整个系统的资源管理和分配,而ApplicationMaster负责单个应用程序的管理。 1.2
2016-09-28 10:43:29 388
转载 Hadoop-MapReduce
MapReduce是Hadoop的又一核心模块,从MapReduce是什么,MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。 面对大数据,大数据的存储和处理,就好比一个人的左右手,显得尤为重要。Hadoop比较适合解决大数据问题,很大程度上依赖其大数据存储系统,即HDFS和大数据处理系统,即MapReduce。关于HDFS,可以参阅作者写的《Hadoop之
2016-09-28 10:42:24 305
原创 sqoop常用命令
使用 1 mysql导入数据到HDFS 1.1 ./sqoop import --connect jdbc:mysql://192.168.116.132:3306/sqoop --username root --password 123456 --table test_user --target-dir /sqoop/test_user -m 2 --fields-termi
2016-09-21 16:26:07 2263
elasticsearch-sql docker 镜像
2019-01-04
rabbitmq 3.6.11
2018-09-13
spring boot demo
2018-09-13
深入实践SpringBoot 高清完整
2018-04-23
quartz-test.zip 常用封装 quartz-helper工具类
2015-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人