- 博客(10)
- 收藏
- 关注
RSS订阅原创 大数据日志抓取相关组件对比
以下内容只是为了自己学习记录filebeat flume 的区别flume最初设计是为了导入hdfsflume 具有事务性Filebeat当删除文件或者收集数据的速度大于写入速度的时候可能出现数据丢失的现象，而flume会在收集数据和写入数据之间做出调整，保证能在两者之间提供一种平稳的数据状态。可以实时的将分析数据并将数据保存在数据库或者其他系统中logstash (组件)logstash是基于pipeline方式进行数据处理的，pipeline可以理解为数据处理流程的抽象。在一条pipelin
2021-08-14 16:31:36
261
原创 分布式Hadoop3.2.2集群搭建
Hadoop准备基础环境java8,ubuntu20.04搭建步骤:基本插件安装sudo apt install sshsudo apt-get install pdsh下载安装包并解压 （Hadoop3.2.2安装包下载链接）编辑 hadoop-env.sh文件添加java环境变量export JAVA_HOME=...
2021-08-12 02:51:20
186
原创 presto
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-07-21 14:30:49
80
原创 spark环境搭建
一、hadoop所需环境搭建1.ubuntu 安装java 8 sudo apt install openjdk-8-jdk2.安装伪分布式hadoop解决安装过程遇到的问题：Starting namenodes on [localhost]pdsh@shaw-B365M-POWER: localhost: rcmd: socket: Permission deniedStarting datanodespdsh@shaw-B365M-POWER: localhost: rcmd: so
2021-06-29 03:41:00
108
原创 spark2相关
最近接触的基于spark2项目的记录kafka2spark相关文档:http://spark.apache.org/docs/2.3.3/streaming-kafka-0-8-integration.html
2021-04-21 16:51:35
41
原创 Phoenix
本文更新Phoenix相关实践总结：时间戳->时间select count(uid),substr(to_char(CONVERT_TZ(to_date(to_char(time,’ '),‘s’), ‘UTC’, ‘Asia/Shanghai’),‘yyyy-MM-dd HH:mm:ss’),0,10) as format_time from xaas.user_module_tdl group by format_time;保存搜索结果!record...
2021-01-17 00:42:09
157
2
原创 leetcode学习(java版本)
7.整数反转（Reverse Integer）我自己的题解如下：思路，通过除法、循环倒置所给整数，通过if判断语句限制范围。class Solution { public int reverse(int x) { int ans = 0,pop=0; while(x!=0)//reverse the integer { ...
2020-03-15 19:47:52
267
原创 Java基础学习笔记
一、Java的基本程序设计结构1.源代码文件名必须与公共类名字相同，并用.java作为拓展名2.main方法必须声明为public（关键字public称为访问修饰符），每个Java应用程序必须要有一个main方法3.{}大括号划分程序的各部分，称为块4.点号（.）用于调用方法package FirstSample.java;package FirstSample.java;publ...
2020-03-14 14:57:57
56
原创 Java核心技术学习笔记
print,printf,println的区别：print就是一般标准输出，不换行printf格式化输出，变量之间用逗号（,）隔开，用%控制输出格式，可以多个不同变量输出。println和print类似，但是会换行。...
2020-03-13 22:16:56
115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人