- 博客(4)
- 收藏
- 关注
RSS订阅原创 Kafka
Kafka集群部署与shell命令行操作 1、kafka简介 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS 1、Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2、Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10...
2019-02-21 19:55:47
364
原创 Sqoop 的安装与数据的导入导出
Sqoop介绍 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。其机制是将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapredu...
2019-02-21 19:50:34
320
原创 Flume 日志采集
Flume的简单介绍 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 Flume的运行机制 1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成 2、每一个agent相当...
2019-02-21 19:49:23
178
转载 pygame的冲突检测
一、精灵与精灵之间的冲突检测 1.两个精灵之间的矩形检测 在只有两个精灵的时候我们可以使用pygame.sprite.collide_rect()函数来进行一对一的冲突检测。这个函数需要传递2个参数，并且每个参数都是需要继承自pygame.sprite.Sprite。 举个例子： spirte_1 = MySprite("sprite_1.png",200,200,1) sprite_2...
2019-02-12 12:32:23
985
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人