- 博客(11)
- 收藏
- 关注
RSS订阅原创 Apache Atlas2.0安装
下载地址:https://atlas.apache.org/#/Downloads上传到服务器并解压:tar -zxvf apache-atlas-2.0.0-sources.tar.gz编译安装配置maven环境#下载maven安装包$ wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache...
2020-01-22 15:19:57
1057
1
原创 DolphinScheduler安装与使用
DolphinScheduler的前身是EasyScheduler,安装包下载地址:https://dolphinscheduler.apache.org/en-us/docs/user_doc/download.html1.部署后端1.1后端安装,支持自动安装,源码编译安装,这里使用自动安装准备,创建新用户big-data,修改用户权限,赋予sudo权限 $ chmod 640...
2020-01-21 11:20:33
17451
3
原创 PostgreSQL客户端安装
centos7安装PG 10客户端:下载地址:https://yum.postgresql.org/rpmchart.php选择版本:选择groups:下载客户端包,以及公共包:上传rpm包到linux环境:先安装PG依赖包libiu,否则报错:$ yum -y install libicu在安装libs公共包:$ rpm -ivh postgresql10-libs-10...
2020-01-14 13:45:56
809
原创 Airflow安装
1.使用python3 pip安装Airflowpip install apache-airflow ,安装结束提示如下:airflow安装到目录:/usr/local/python3/lib/python3.7/site-packages/airflow/下2.使用mysql作为airflow的元数据库创建airflow数据库create database airflow;grant...
2020-01-14 13:26:05
983
原创 python2升级python3
系统版本:centos7.5查看版本: cat /etc/redhat-release1.下载python3安装包下载地址:https://www.python.org/ftp/python/wget https://www.python.org/ftp/python/3.7.6/Python-3.7.6.tar.xz2.解压安装包xz -d Python-3.7.6.tar.xzt...
2020-01-14 13:15:41
158
原创 spark streaming消费kafka
Spark Streaming 消费kafka有两种形式,这里使用no receivers方式：使用no receivers方式消费kafkaspark版本：2.4.0-cdh6.2.0使用spark streaming消费kafka数据并写入hive中： package com.pica.bi.zhuque.stream import java.sql.Timestamp ...
2019-11-12 18:35:01
416
1
原创 flume1.9安装测试
1.下载下载地址：Apache flume 1.9.02.部署创建部署目录，并上传安装包mkdir sys && rz -be解压安装包tar -zxvf apache-flume-1.9.0-bin.tar.gz设置环境变量vi ~/.bash_profilesource ~/.bash_profile修改配置文件cd $FLUME_...
2019-11-12 18:26:06
323
原创 kafka简单使用
kafka版本:2.1.0(基于CDH6.2版本安装)1.创建topic$ kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test12.查看topic$ kafka-topics --list --zookeeper localhost:2181...
2019-11-12 18:24:17
118
原创 CDH6.2.0 集群搭建
基于centos7 安装6.2版本CM以及CDHCM安装包下载地址:rpm包:https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/allkeys.asc文件:https://archive.cloudera.com/cm6/6.2.0/allkeys.ascCDH安装包下载地址:https://archive.c...
2019-11-12 18:18:56
774
原创 CDH 5.10.0 on CentOS6.9 离线安装
关于CDH和ClouderaManager CDH (Cloudera's Distribution, includingApache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。 Cloudera Manager（本文以下简称为CM）则是为了便于在集群中进行Hadoop等大
2017-04-30 18:44:50
2689
3
转载 RPC原理详解
原文链接：http://www.cnblogs.com/metoy/p/4321311.htmlRPC 功能目标RPC 的主要功能目标是让构建分布式计算（应用）更容易，在提供强大的远程调用能力时不损失本地调用的语义简洁性。 为实现该目标，RPC 框架需提供一种透明调用机制让使用者不必显式的区分本地调用和远程调用。 下面我们将具体细化 stub 结构的实现。RPC 调用分类
2016-12-16 21:54:42
272
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人