大数据组件知识
文章平均质量分 67
大数据组件安装,入门,学习
栗子_yangxw
有志者、事竟成,破釜沉舟,百二秦关终属楚!
展开
-
StreamX1.2.1+flink1.12.7 平台部署
StreamX1.2.1+flink1.12.7 平台部署1. 必须环境准备StreamX最新版本1.2.1支持用户上传jar包的方式运行代码,目前支持flink版本为1.12以上前后端混合编译得到StreamX最新安装包 streamx-console-service-1.2.1-bin.tar.gzhadoop环境准备flink安装包准备,本例使用flink1.12.7 https://dlcdn.apache.org/flink/flink-1.12.7/flink-1.12.7-bin-原创 2022-01-19 14:30:35 · 2072 阅读 · 0 评论 -
【flink】一个TaskManager 实例下,多个slot线程分别执行不同job任务,如何隔离jar包资源以及计算资源
文章目录问题思考?官网解析源码走读动手写个任务提交demo回归问题结论问题思考?官网解析源码走读动手写个任务提交demo回归问题结论原创 2021-08-11 20:49:10 · 1648 阅读 · 0 评论 -
kudu+impala表名、字段名大小敏感问题
文章目录背景1. 表名大小写 实践通过impala 建表 `AbTest_log`查询测试写入测试2. 字段名大小写 实践3. 结论背景表DDL语句通过impala进行,比如建表,新增列等等表数据插入通过kudu client客户端进行数据插入问题: 当表名有大小写,或者属性名有大小写的时候,有的数据不能插入的情况1. 表名大小写 实践通过impala 建表 AbTest_log通过impala查询,表名是小写 abtest_log通过kudu客户端查询,表名是AbTest_log原创 2021-05-18 15:34:23 · 1099 阅读 · 0 评论 -
Elasticsearch 集群未授权访问使用ReadOnly REST插件修复(elasticsearch增加http鉴权)
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2021-04-07 12:34:06 · 1263 阅读 · 0 评论 -
cdh6.3.2配置Sentry+Hue权限管理
文章目录Sentry安装部署添加Sentry服务定义角色分配节点配置数据库完成服务添加Sentry与Hive/Impala集成取消HiveServer2用户模拟确保hive用户能够提交MR任务配置Hive使用Sentry配置Impala使用Sentry配置HDFS权限与Sentry同步Sentry授权HUE授权配置命令行权限配置Sentry安装部署添加Sentry服务定义角色分配节点配置数据库完成服务添加服务启动失败的话可以排查: cdh6.3.2添加sentry服务启动失败排查Sen原创 2021-03-04 11:03:59 · 2898 阅读 · 1 评论 -
cdh6.3.2添加sentry服务启动失败排查
报错信息关键词:Could not create org.apache.sentry.provider.db.service.persistent.SentryStorejava.sql.SQLException: Column name pattern can not be NULL or empty.Exception in thread "main" java.lang.IllegalStateException: Could not create org.apache.sentry.pro原创 2021-03-03 20:08:08 · 831 阅读 · 3 评论 -
CDH6.3.2集成安装flink on yarn服务(编译源码,制作parcel)(更新:flink1.12.2版本测试也可用)
目录一:环境准备二:下载安装包1. Flink-shaded包2. flink1.10.2 源码包3. maven配置文件三:编译flink-shaded版本1. 解压tar包2. 解压文件后目录结构3. 修改pom文件4. 开始编译四:编译Flink1.10.2源码1. 解压tar包2. 执行编译3. 等待编译成功4. 打包编译好的文件五:制作parcel包1. 下载git开源制作parcel包的项目2. 修改配置文件 flink-parcel.properties3. 赋予build.sh文件执行权限4原创 2020-12-01 17:27:55 · 7934 阅读 · 26 评论 -
「4-Hadoop」:MapReduce架构以及案例编写
一:MapReduce概述MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。MapReduce优点易于编程它简单的实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序,跟写一个简单的串行程序是一模一样的。就是因为这个原创 2020-05-25 21:48:57 · 279 阅读 · 0 评论 -
「3-Hadoop」:Hadoop3.x完全分布式集群完整搭建过程
一:资源准备Centos7 机器3台:单机至少2g内存修改机器hostname vim /etc/hostname我这里三台机器分别是 hadoop102、hadoop103、hadoop1043. 配置hosts文件使三台机器可以内网通信vim /etc/hosts4. pin原创 2020-05-21 18:00:04 · 860 阅读 · 0 评论 -
「2-Hadoop」:HDFS架构详述
HDFS概述HDFS定义HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。适合用来做数据分析,并不适合用来做网盘应用。HDFS优点高容错行,数据自动保存多个副本,丢失副本自动恢复适合处理大数据,规模达到GB、TB、甚至PB级别可以构建在廉价的机器上,通过内部副本机原创 2020-05-14 22:12:14 · 321 阅读 · 0 评论 -
「1-Hadoop」:Hadoop框架的几个核心组件
Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决,海量数据的存储和海量数据的分析计算问题。广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。Hadoop组成在Hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑计算以及资源调度,耦合性比较大,在Hadoop2.x以上增加了Yarn组件,只负责资源调度,MapReduce只负责运算。HDFS架构概述NameNode(nn)存储文件元数据,如文件原创 2020-05-14 21:05:08 · 909 阅读 · 0 评论