- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flume中提供的channel实现主要有三个(channel.type)
1.memory channel :event保存在Java Heap(堆内存)中，如果允许数据少量丢失，推荐使用；由于事件event缓存在存储器中，因此不具有持久存储能力；如果代理重新启动，事件就会丢失；与fil## 标题e channel比较，memory channel的优势在于具有较高的吞吐量；2.file channel :这种类型的channel具有持久性：只要事件被写入该类型的channel,即使代理重新启动，事件也不会丢失；event保存在本地文件中，可靠性高；但吞吐量低于前者；3.
2020-05-18 16:22:16
1176
原创 [Spark] 手把手教你在IDEA中搭建Spark环境
虽然Linux环境下已经安装了Spark,但很多时候，在IDEA中使用Spark环境开发也是很有必要的；本例中选择Spark的版本号2.4.5，scala工具包的版本是2.11：1.新建一个maven工程，选择org.scala-tools.archetypes:scala-archetype-simple (假定idea中已经配了scala插件包)2.进入Maven后，检查Project ...
2020-04-23 18:43:15
2951
原创 [Scala] Scala中array的aggregate()聚合函数的使用
先看文档解释：aggregate[ B ] (z:=>B)(seqop:(B,T)=>B,combop:(B，B)=>B):B从聚合函数aggregate的解释来看，aggregate()是个柯里化方法，第二个参数是两个方法；直白的讲，就是传入的参数通过和array中每个元素通过seqop方法得到一个结果集，得到的结果集中每个元素彼此通过combop方法得到返回的结果；举...
2020-04-18 19:53:30
952
原创 [Docker] 解决Docker容器下启动tomcat时、页面报404的问题
docker启动tomcat， 如果已经关闭防火墙，还出现404问题(页面不能访问)，那有可能是"tomcat的webapps文件夹下为空"造成的；1.启动tomcat[root@ip ~]# docker run -d -p 8888:8080 tomcat//此处映射的主机端口号88882.找到CONTAINER_ID对应的字符串，即启动tomcat容器的容器ID，通过它进入tomc...
2020-04-16 22:10:10
1029
原创 使用Docker搭建MySQL，只要这几步！
1.通过docker pull的shell命令拉取镜像，如果不指定版本号，则默认拉取最新版本(latest)[root@ip ~]# docker pull mysql:5.7//此处拉取mysql:5.7版本[root@ip ~]# docker images//查看镜像是否拉取成功2.启动mysql[root@ip ~]# docker run -p 3306:3306 --na...
2020-04-16 21:46:08
210
原创 [Hive] Zeppelin的安装
说明：建议使用高版本的zeppelin安装包，如(zeppelin-0.9.0-preview1-bin-all.tgz),稳定性好；1.压缩包解压到指定目录下；[root@ip install]# tar -zxvf zeppelin-0.9.0-preview1-bin-all.tgz -C ../bigdata/2.对解压后文件夹重命名，方便操作；[root@ip bigdata]...
2020-04-16 21:07:17
287
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人