- 博客(8)
- 收藏
- 关注
RSS订阅原创 HDFS，YARN，hive简介
HDFS shell常用命令的使用： ls get mkdir put rmhdfs缺点：不适用于低延迟 的数据访问、小文件存储。分布式计算框架MapReduce不适用于：实时计算、流式处理、DAG计算MapReduce编程模型 ：input map&reduce output资源调度框架 YARN YA...
2019-03-28 11:02:18
1482
原创 Hadoop简介和相关集群配置
hadoop：一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。包含HDFS，yarn，MapReduce。广义的Hadoop指的是Hadoop生态系统，生态系统中的每一子系统只解决某一特定的问题域。Hadoop是开源的，社区活跃度很高，涉及到分布式存储和计算的方方面面。HDFS：HDFS是1个master（N...
2019-03-27 18:55:14
132
原创 kafka配置和启动
kafka 配置在kafka config 目录下修改server.propertiesbroker.id=0 log.dir 修改临时数据存放目录host.name 当前机器名zookeeper.connect=hadoop000:2181启动kafka先启动zookeeper kafka-server-start.sh zk=>...
2019-03-27 15:43:20
340
原创 更多类型的flume source：avro
技术选型：exec source +memory channel +avro sinkavro source +memory channel +logger sinkavro-memory-logger.confavro-memory-logger.sources = avro-sourceavro-memory-logger.sinks=logger-sinkavro-m...
2019-03-27 09:24:41
266
原创 flume架构和启动
flume1.9概述Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data.webserver（源端）==》flume==》HDFS（目的）设计目标： 可靠性...
2019-03-26 13:46:04
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人