- 博客(8)
- 收藏
- 关注
原创 HDFS,YARN,hive简介
HDFS shell常用命令的使用: ls get mkdir put rmhdfs缺点:不适用于低延迟 的数据访问、小文件存储。分布式计算框架MapReduce不适用于:实时计算、流式处理、DAG计算MapReduce编程模型 :input map&reduce output资源调度框架 YARN YA...
2019-03-28 11:02:18 1514
原创 Hadoop简介和相关集群配置
hadoop:一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。包含HDFS,yarn,MapReduce。广义的Hadoop指的是Hadoop生态系统,生态系统中的每一子系统只解决某一特定的问题域。Hadoop是开源的,社区活跃度很高,涉及到分布式存储和计算的方方面面。HDFS:HDFS是1个master(N...
2019-03-27 18:55:14 139
原创 kafka配置和启动
kafka 配置在kafka config 目录下修改server.propertiesbroker.id=0 log.dir 修改临时数据存放目录host.name 当前机器名zookeeper.connect=hadoop000:2181启动kafka先启动zookeeper kafka-server-start.sh zk=>...
2019-03-27 15:43:20 357
原创 更多类型的flume source:avro
技术选型:exec source +memory channel +avro sinkavro source +memory channel +logger sinkavro-memory-logger.confavro-memory-logger.sources = avro-sourceavro-memory-logger.sinks=logger-sinkavro-m...
2019-03-27 09:24:41 277
原创 flume架构和启动
flume1.9概述Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data.webserver(源端)==》flume==》HDFS(目的)设计目标: 可靠性...
2019-03-26 13:46:04 124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人