大数据
文章平均质量分 93
会飞的boy
期待我们的改变
展开
-
使用docker 容器 跨主机访问--实操
背景:引出思考问题一: 在学习docker 服务的过程中想到一个问题,就是所有的docker 容器服务都部署在一台docker 宿主机上,若docker 容器服务足够多 这个docker 宿主机不会死掉么??引出思考问题二: docker 容器里面的服务能不能跨宿主机访问别一台宿主机的docker 容器服务呢??问题一: 其实我自己也不知道问题二: 请看实战操作二的内容实战:操作一: 安装docker 引擎,操作链接:操作二:一.实验条件准备:1. 准备两台l..原创 2022-05-14 13:54:38 · 5908 阅读 · 0 评论 -
部署分布式SQL查询引擎框架(presto)
0. 背景 在了解到公司已经使用多数据源的情况下,同时要满足bi报表(web 报表展示平台)的后台数据库的连接支持 ,所以 准备调研并搭建presto 服务框架1.简介 一.Presto是一个facebook开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。 其本身并不存储数据,但是可以接入多种数据源,并且支持跨数据源的级联查询。Presto是一个OLAP的工具,擅长对海量数据进行复杂的分析;但...原创 2021-02-21 14:08:11 · 872 阅读 · 0 评论 -
安装 hive 的客户端---hue
一. 搭建流程: 搭建的流程,其实是根据 官方文档的提示进行操作的, 官方文档的链接: https://github.com/cloudera/hue/tree/release-4.8.0 ,这里我选择的是实体机器的搭建方式 ,若想使用其他方式详情见git 的详细操作从官方文档的搭建步骤过程中,其实主要分为以下几步: 一. 检查系统的 环境以及安装系统的插件 二. 下载源码,进行源码编译安装 三. 进行启动测试调试 四. 与集群的...原创 2021-02-18 19:38:56 · 1167 阅读 · 0 评论 -
离线集群平台搭建-HDP
一. 背景 大数据相关的所有建设 依托于 大数据的基础设施. 基础设施一定包含了集群平台的搭建 . 目前市场上常用的有三种方式做集群平台的搭建; 第一种为使用原生的apache (hadoop,hive,spark)等相关大数据软件构建集群平台 . 这种方式相对比较灵活, 好控制,但是在选择各个大数据软件的兼容性就比较困难,监控页面以及集群的状态 等维护需要开发人员进行开发,工程量较大,一般不选择此种方式. 第二种为使用商用的开发版本cloudera 的免费...原创 2021-02-02 16:22:38 · 563 阅读 · 0 评论 -
搭建ssdb nosql数据库
详情可以查看着篇中文官方文档:https://blog.csdn.net/wuliusir/article/details/50374413 这篇链接文章感觉还是很靠谱的 SSDB 部署在 Linux 操作系统编译和安装注意:我这里是使用的子用户搭建的ssdb下载: wget --no-check-certificate https://github.com/ideawu/ssdb/archive...原创 2018-04-16 17:16:22 · 513 阅读 · 0 评论 -
phoenix 与 hbase 整合,将hbase 自定义的namespace 放到phoenix 中进行完美整合
注意: 这里以ambari 集群进行整合说明1. 前提条件一. ambari 集群上已经安装好了phoenix 插件以及hbase 组件二. 保证ambari 集群的hdfs系统,zookeeper 系统,hbase 集群,phoenix 组件server ,ranger 管理权限系统 已经正常运行.2. 配置hbase的namespace映射为phoenix数据库; (到...原创 2019-07-16 19:16:09 · 1919 阅读 · 0 评论 -
ambari 集群使用的过程中出现的一个问题,未解决的
ambari 集群在实际应用过程中出现的(我认为)一个比较大的问题,目前是未解决这个问题,希望广大的博客主们能帮忙解决一下: 下面的日志信息是在ambari (Version2.7.3.0) 集群的/var/log/hadoop-yarn/yarn/ 目录下的文件hadoop-yarn-resourcemanager-master.hadoop.log 里面的内容:2019-...原创 2019-10-09 17:13:47 · 4055 阅读 · 6 评论