- 博客(11)
- 收藏
- 关注
RSS订阅原创 hadoop 集群配置（高可用）
hadoop集群高可用配置三台虚拟机先配置jdk和zookeeper配置hadoop配置三台虚拟机192.168.199.161 pass1192.168.199.162 pass2192.168.199.163 pass3先配置jdk和zookeeper见 jdk、zookeeper环境配置配置hadoop解压hadoop安装包[root@pass1 install]# tar -zxvf ./hadoop-2.6.0-cdh5.14.2.tar.gz -C ../
2020-06-08 14:59:56
1316
1
原创 hadoop+zookeeper+kafka集群搭建
hadoop+zookeeper+kafka集群搭建创建四台虚拟机分别在四台虚拟机中编辑ip地址重启网络并ping通www.baidu.com、关闭防火墙四台虚拟机分别修改hostname编辑/etc/hosts创建文件夹，并导入安装包密钥pass1(234),pass2(134),pass3(124)集群环境编辑脚本，在root目录下创建bin文件夹jdk安装hadoop配置创建四台虚拟机192.168.199.161 pass1192.168.199.162 pass2192.168.199.1
2020-06-03 19:39:43
778
原创 Spark 常见算子总结
Spark常见的算子）[root@zjw3 ~]# spark-shellSpark context Web UI available at http://zjw3:4040Spark context available as ‘sc’ (master = local[*], app id = local-1588002167755).Spark session available as ‘spark’.Welcome to____ __/ / ___ / /\
2020-06-02 17:47:06
457
原创 Spark 安装（单机版）
Spark 安装（单机版）解压文件到指定目录修改配置文件重命名到/spark240/conf目录下（1）saprk-env.sh（2）slaves （配置单机的话，则不需要配置）配置环境变量运行Spark (已经安装了 scala)先启动 Hadoop启动 SparkSpark 使用 Python 开发配置python环境安装Python启动PySpark的客户端注意：安装spark之前要安装jdk，hadoop解压文件到指定目录[root@cai install]# tar -zxvf spark-
2020-06-01 20:16:40
435
原创 Zepplin 安装
Zepplin 安装一 下载安装包二 上传并解压三 修改 配置文件conf 文件夹下vi zeppelin-env.sh四 启动zeppelin五 配置hive解释器5.1 环境和变量配置（1）拷贝hive的配置文件hive-site.xml到zeppelin-0.8.1-bin-all/conf下。（2）拷贝jar包5.2 在web界面配置集成hive（1）右上角anonymous --> interpreter --> +Create新建一个叫做hive的集成环境（2）设置propertie
2020-06-01 20:03:06
305
原创 Hive 窗口函数
Hive 窗口函数简介概念数据准备实例聚合函数+overpartition by子句order by子句window子句窗口函数中的序列函数NTILELAG和LEAD函数first_value和last_value扩展：总结：简介本文主要介绍hive中的窗口函数.hive中的窗口函数和sql中的窗口函数相类似,都是用来做一些数据分析类的工作,一般用于olap分析（在线分析处理）。概念我们都知道在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规.
2020-06-01 19:45:25
222
原创 Hive环境搭建
Hive ~环境搭建1、Hive环境搭建 创建hive-site.xml文件 将mysql驱动jar包拷贝到lib目录下 配置环境变量 初始化hive 启动hive2、beeline 使用 首先启动hiveserver2服务1.Hive环境搭建需要提前将mysql-connector-java-5.1.32.jar导入到hive 的 lib 文件夹下hive的使用，在这里配置mysql,所以要提前安装好MySQL数据库创建hive-site.xm.
2020-06-01 19:19:33
189
原创 用Docker搭建MySQL服务
用Docker搭建MySQL服务一、安装docker二、建立镜像1.拉取官方镜像（我们这里选择5.7，如果不写后面的版本号则会自动拉取最新版）2.检查是否拉取成功3.一般来说数据库容器不需要建立目录映射4.如果要建立目录映射5.检查容器是否正确运行三、连接mysql1.进入docker本地连接mysql客户端2.使用 Navicat 远程连接mysql3.使用远程连接软件时要注意一个问题4.如果你的容器运行正常，但是无法访问到MySQL，一般有以下几个可能的原因：一、安装docke
2020-06-01 18:46:08
156
转载 Linux ~之 Docker 安装与使用
Linux ~之 Docker 安装与使用一、安装与配置1.安装依赖包2.设置阿里云镜像源3.安装 Docker-CE4.启动 Docker-CE5.[可选] 为 Docker 建立用户组5.1. 建立 Docker 用户组5.2.添加当前用户到 docker 组6.镜像加速配置#二、配置 Docker 容器与镜像1.拉取镜像三、Docker 常用命令1.拉取镜像2.删除容器3.查看容器日志4.查看正在运行的容器5.删除所有容器6.停止、启动、杀死指定容器7.查看所有镜
2020-06-01 18:33:56
123
原创 Hadoop：安装（单机及集群）的配置
Hadoop ~1：安装（包括集群）与简单的配置## 标题一：首先在虚拟机中进行解压二：配置Hadoop ./etc/hadoop目录下的文件配置hadoop-env.sh配置core-site.xml （配置完此步，需要在hadoop260目录下建hadoop2目录）配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置vi ./slaves3.2Hadoop环境变量配置刷新环境变量格式化HDFS (第一次启动要格式化，以后定期删除日志就
2020-06-01 18:04:46
753
原创 Flume 三：监测目录写入日志
[root@cai flume]# cd conf/[root@cai conf]# mkdir job[root@cai conf]# lsflume-conf.properties.template flume-env.sh jobflume-env.ps1.template flume-env.sh.template log4j.properties[root@cai conf]# cd job/
2020-05-28 00:17:07
82
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人