![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 76
佳乐一百
这个作者很懒,什么都没留下…
展开
-
Scala的基本语法
一、基本概念Scala中一共是39个关键字: package, import, class, object, trait, extends, with, for,private, protected, abstract, sealed, final, implicit, lazy, override,try, catch, finally, throw ,if, else, match, case, do, while, return, yield,def, val, var ,this, super,原创 2021-03-28 18:28:05 · 1289 阅读 · 0 评论 -
Flume把数据直接写在文件里而不在控制台显示
Flume把数据直接写在文件里而不在控制台显示创建配置:[root@hadoop01 data]# vim filerollsink.confa1.sources = s1a1.channels = c1a1.sinks = k1a1.sources.s1.type = netcata1.sources.s1.bind = 0.0.0.0a1.sources.s1.port = 8090a1.channels.c1.type = memorya1.channels.c1.capacit原创 2020-12-05 20:06:33 · 514 阅读 · 0 评论 -
Flume把收集到的数据存储在 home/flumedata目录
**Flume把收集到的数据存储在 home/flumedata目录进入配置:vim filechannel.conf**# 给Agent起名# 给Source起名a1.sources = s1# 给Channel起名a1.channels = c1# 给Sink起名a1.sinks = k1# 配置Source的类型a1.sources.s1.type = netcat# 配置IPa1.sources.s1.bind = 0.0.0.0# 配置监听端口a1.sources原创 2020-12-05 18:08:36 · 1098 阅读 · 0 评论 -
flume的序列化发生器代码和配置
package cn.tedu.flume;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.EventDrivenSource;import org.apache.flume.channel.ChannelProcessor;import org.apache.flume.conf.Configurable;import org.apache.flume.event.Ev原创 2020-12-01 21:33:21 · 229 阅读 · 0 评论 -
大数据练习题08:(单选题)java socket如何获取本地ip地址?
原创 2020-10-21 08:46:54 · 290 阅读 · 0 评论 -
大数据练习题07:(单选题)解压缩tar.gz结尾的包需要用的指令是
原创 2020-10-21 08:46:09 · 389 阅读 · 0 评论 -
大数据练习题06:(单选题)在NIO中,哪个方法可能会发生阻塞()
原创 2020-10-21 08:45:19 · 450 阅读 · 0 评论 -
大数据练习题05:(单选题)(单选题)下列有关CyclicBarrier说法正确的是:
原创 2020-10-21 08:43:23 · 361 阅读 · 0 评论 -
大数据练习题02:(单选题) 在zookeeper中,以下哪个命令时创建临时顺序节点()
原创 2020-10-21 08:40:30 · 440 阅读 · 0 评论 -
大数据练习题01:(单选题)下面哪个参数可以删除一个用户并同时删除用户的主目录?
原创 2020-10-21 08:39:40 · 6179 阅读 · 0 评论 -
大数据练习题04:(单选题)以下是java concurrent包下的4个类,选出差别最大的一个
原创 2020-10-21 08:37:45 · 2487 阅读 · 0 评论 -
Storm集群安装配置
原创 2020-08-04 11:11:23 · 80 阅读 · 0 评论 -
Storm可靠性保证
原创 2020-08-04 11:10:31 · 149 阅读 · 0 评论 -
Storm的并发控制
原创 2020-08-04 11:09:13 · 124 阅读 · 0 评论 -
Storm入门案例
1.Storm单机模式Storm提供了单机开发模式,即使没有Storm集群也可以在本地java环境中进行开发测试。2.入门案例 a.需求 利用Storm实现实时的单词统计 b.分析需求想要开发一个Spout需要写一个类实现 IComponent接口 和 ISpout接口,实现相应方法。直接实现这两个接口需要实现的方法比较多,可以选择继承BaseRichSpout默认实现类,此类已经实现过如上两个接口,并将大部分方法做了默认空实现,只需继承...原创 2020-08-04 11:05:48 · 326 阅读 · 0 评论 -
Storm概述
1.Storm概述实时计算可以实时获取数据进行运算,得到计算结果,在很多实时性要求比较高的场景下有大量的应用.例如:微博热门话题榜单、电商网站实时推荐、地图路况信息。实时计算和离线计算有较大的不同,实时计算强调实时性,数据不断流入,实时运算后结果实时反馈,实时计算没有数据积累的过程,有开始没有结束,如果不人为停止会一直运行下去。Storm是一个开源的分布式实时计算系统,可以简单、可靠的处理大量的数据流。Storm支持水平扩展,具有高容错性,保证每个消息都会得到处理,而且处理速度很快(在...原创 2020-08-04 10:45:05 · 547 阅读 · 0 评论 -
DAG概述---DAG的生成与Stage的划分
DAG(Directed Acyclic Graph)"有向无环图"同一个方向,够不成闭环。原创 2020-03-27 00:18:13 · 529 阅读 · 0 评论 -
Spark介绍---Spark单机模式安装---RDD介绍---RDD操作
原创 2020-03-27 00:11:21 · 93 阅读 · 0 评论 -
Hadoop生态系统
原创 2020-03-19 16:54:55 · 94 阅读 · 0 评论 -
大数据部门组织结构
原创 2020-03-19 15:22:12 · 1756 阅读 · 0 评论 -
大数据技术体系
原创 2020-03-19 15:21:16 · 91 阅读 · 0 评论 -
Eureka和Zookeeper的区别
Eureka和Zookeeper的区别Spring Cloud在现在的版本其实也可以使用Zookeeper来进行服务注册的。那他们的区别在哪里呢?为什么要使用Eureka来进行服务注册呢?1、Zookeeper当master挂了,会在30-120s进行leader选举,这点类似于redis的哨兵机制,在选举期间Zookeeper是不可用的,这么长时间不能进行服务注册,是无法忍受的,别说30s...原创 2019-12-07 15:34:01 · 116 阅读 · 0 评论 -
Kafka和Rabbitmq的最大区别
功能上,两者都是实现了AMQP协议。那么在使用上的最大区别是什么呢?如何根据自己的需求进行选型?kafka是严格顺序保证的消息队列。即使在分布式环境下,也保证在同一分区内消息的顺序性。既然是顺序的,那么在同一个Topic下面,如果前面的消息没有消费完毕(收到回应),则不能读取下一条消息。那么在消费端,就变成了一个单线程操作,无法并发。虽然kafka可以通过分区实现并发,不过这个需要用多台kafk...原创 2019-12-07 15:25:10 · 1594 阅读 · 0 评论 -
hive报错:Logging initialized using configuration in jar:file:/home/software/apache-hive-1.2.0-bin/lib/
在hive的bin目录下输入sh hive报错:[root@hadoop01 apache-hive-1.2.0-bin]# cd bin[root@hadoop01 bin]# sh hiveLogging initialized using configuration in jar:file:/home/software/apache-hive-1.2.0-bin/lib/hive-co...原创 2019-12-04 23:47:57 · 3734 阅读 · 2 评论 -
ORC文件格式
原创 2019-12-04 21:01:18 · 241 阅读 · 0 评论 -
RCFile文件格式
原创 2019-12-04 20:59:59 · 235 阅读 · 0 评论 -
提交jar包到集群运行步骤
提交jar包到集群运行步骤把以下项目打jar包在这里插入图片描述原创 2019-11-28 02:32:23 · 748 阅读 · 0 评论