![](https://img-blog.csdnimg.cn/099e20b89ff34a6593e8efba5b5c60a8.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
developv003——spark
developv003——spark
yanqi_vip
strove with none, for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
展开
-
SS00001.spark——|服务启动导航.v01|————|NTP.v01|时间同步服务器配置:方案一|
一、配置主机时间同步:### --- 查看当前服务端和客户端版本一致[root@localhost ~]# cat /etc/redhat-releaseCentOS Linux release 7.6.1810 (Core)二、ntp.server端配置:hadoop01### --- 进行外网时间同步~~~ # Hadoop01安装ntpdate...原创 2022-04-17 15:54:00 · 78 阅读 · 0 评论 -
SS00002.spark——|服务启动导航.v02|————|NTP.v02|时间同步服务器配置:方案二|
一、安装ntp服务### --- 安装ntp服务~~~ # hadoop01、hadoop02、hadoop03安装ntp服务:[root@hadoop01 ~]# yum -y install ntp### --- 配置文件修改~~~ # 修改ntp.conf配置文件:hadoop01、hadoop02、hadoop03[root@hadoop01...原创 2022-04-17 15:54:00 · 68 阅读 · 0 评论 -
SS00003.spark——|服务启动导航.v03|————|zookeeper.v01|集群部署|
一、Zookeeper环境搭建:HA模式### --- 下载并解版本包[root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@hadoop02 ~]# cd /opt/yanqi/software/...原创 2022-04-17 15:55:00 · 52 阅读 · 0 评论 -
SS00004.spark——|服务启动导航.v04|————|服务启动导航.v01|内存级快速计算引擎spark|
一、PB级别企业电商离线仓库:部署规划IP地址主机名第一台机器192.168.1.121Hadoop01第二台机器192.168.1.122Hadoop02第三台机器192.168.1.123Hadoop03### --- 软件选型~~~ 数据采集:DataX、Flume、Sqoop、Logstash、...原创 2022-04-17 15:55:00 · 94 阅读 · 0 评论 -
SS00005.spark——|Navigation|
NO:Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...原创 2022-04-17 15:56:00 · 55 阅读 · 0 评论 -
SS00006.spark——|服务启动导航.v01|————|ZookeeperKafka.v01|服务启动导航|
一、zookeeper集群启动### --- zookeeper集群启动~~~ # 在三台Linux上启动Zookeeper[root@hadoop01 ~]# zkServer.sh start[root@hadoop02 ~]# zkServer.sh start[root@hadoop03 ~]# zkServer.sh start~~~ # 在...原创 2022-04-17 15:56:00 · 89 阅读 · 0 评论 -
SS00007.spark——|服务启动导航.v02|————|ZookeeperKafka.v02|集群环境搭建|
一、集群搭建:搭建设计### --- 分配三台Linux,用于安装拥有三个节点的Kafka集群。Hadoop01 192.168.1.111Hadoop02 192.168.1.122Hadoop03 192.168.1.133一、部署kafka集群:配置hosts文件### --- 以上三台主机的/etc/hosts配置:[r...原创 2022-04-17 15:57:00 · 60 阅读 · 0 评论 -
SS00008.spark——|服务启动导航.v03|————|KafkaEagle.v03|环境部署|
一、部署kafka-eagle:开启kafka节点的JMX### --- 下载并解压kafka-eagle部署包~~~ # 下载编译好的包[root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip[root@hadoop01 software]# unzip kafka-eag...原创 2022-04-17 15:57:00 · 78 阅读 · 0 评论 -
SS00009.spark——|服务启动导航.v04|————|Redis.v01|环境部署|
一、Redis单机版安装和使用### --- 安装C 语言需要的GCC 环境[root@hadoop ~]# yum install -y gcc-c++[root@hadoop ~]# yum install -y wget### --- 下载并解压缩Redis 源码压缩包[root@hadoop software]# wget http://download.re...原创 2022-04-17 15:58:00 · 68 阅读 · 0 评论 -
SS00001.spark——|Hadoop&Spark环境部署.v01|——|Hadoop.v01|基础环境配置|
一、配置环境规划### --- vmware、linux版本~~~ vmware版本:VMware-workstation-full-15.5.5-16285975.exe~~~ Linux版本:CentOS-7-x86_64-DVD-1810.iso### --- Linux主机配置参数~~~ CPU:1块1核~~~ 内存:2GB...原创 2022-04-17 15:59:00 · 192 阅读 · 0 评论 -
SS00002.spark——|Hadoop&Spark环境部署.v02|——|Hadoop.v02|虚拟机环境准备|
一、Apache Hadoop 完全分布式集群搭建### --- 软件和操作系统版本~~~ Hadoop框架是采用Java语言编写,需要java环境(jvm)~~~ JDK版本:JDK8版本### --- 集群:~~~ 知识点学习:统一使用vmware虚拟机虚拟五台linux节点,linux操作系统:Centos7~~~ 项目阶段:统...原创 2022-04-17 16:00:00 · 138 阅读 · 0 评论 -
SS00003.spark——|Hadoop&Spark环境部署.v03|——|Hadoop.v03|环境变量配置|
一、集群规划hadoop1hadoop2hadoop3NameNode √SecondaryNameNode √DataNode √ √ √ResourceManager √DataManager ...原创 2022-04-17 16:01:00 · 157 阅读 · 0 评论 -
SS00004.spark——|Hadoop&Spark环境部署.v04|——|Hadoop.v04|集群组件部署|
一、集群配置### # Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置### # HDFS集群配置~~~ 将JDK路径明确配置给HDFS(修改hadoop-env.sh)~~~ 指定NameNode节点以及数据存储目录(修改core-site.xml)~~~ 指定Secondary...原创 2022-04-17 16:01:00 · 84 阅读 · 0 评论 -
SS00005.spark——|Hadoop&Spark环境部署.v05|——|Hadoop.v05|rsync-script脚本编写|
一、分发配置:rsync-script命令详解### --- 编写集群分发脚本rsync-script~~~ rsync 远程同步工具~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。~~~ rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。~~~ sc...原创 2022-04-17 16:01:00 · 77 阅读 · 0 评论 -
SS00006.spark——|Hadoop&Spark环境部署.v06|——|Hadoop.v06|集群启动|单节点启动|
一、启动HDFS集群### --- 启动集群注意事项~~~ # 注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode,~~~ # 非第一次不用执行格式化Namenode操作!!二、单节点启动:格式化NameNode### --- 单节点启动~~~ # 所有节点执行[root@hadoop0...原创 2022-04-17 16:02:00 · 241 阅读 · 0 评论 -
SS00007.spark——|Hadoop&Spark环境部署.v07|——|Hadoop.v07|集群测试|
一、集群测试### --- HDFS 分布式存储初体验~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常~~~ HDFS访问地址:http://hadoop01:50070/~~~ # 本地hoome目录创建一个文件[root@hadoop01 ~]# vim test.txthello hdfs~~~ # 创建一个...原创 2022-04-17 16:02:00 · 73 阅读 · 0 评论 -
SS00008.spark——|Hadoop&Spark环境部署.v08|——|Hadoop.v08|历史日志|服务配置|
一、配置历史服务器### --- 在Yarn中运行的任务产生的日志数据不能查看,~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下:### --- 配置mapred-site.xml[root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-sit...原创 2022-04-17 16:03:00 · 79 阅读 · 0 评论 -
SS00009.spark——|Hadoop&Spark环境部署.v09|——|Hadoop.v09|map$reduce参数调整.v01|
附录一:报错处理一:### --- 报错现象:~~~ 卡在这个位置不会动,数据没有加载~~~ 在执行这个的时候,把history打开,用于监控错误信息[root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21Cannot run job locally: Input Size (= 3...原创 2022-04-17 16:04:00 · 161 阅读 · 0 评论 -
SS00010.spark——|Hadoop&Spark环境部署.v10|——|Hadoop.v10|map$reduce参数调整.v02|
附录一:Mapreduce内存参数调整一:# --- 在mapreduce配置文件下配置[root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml<!-- 设置map、reduce合理内存参数 --><property> <na...原创 2022-04-17 16:04:00 · 69 阅读 · 0 评论 -
SS00011.spark——|Hadoop&Spark环境部署.v11|——|Hive.v01|部署安装|
一、Hive安装配置### --- 环境准备~~~ Hive官网:http://hive.apache.org~~~ 下载网址:http://archive.apache.org/dist/hive/~~~ 文档网址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual~~~ ...原创 2022-04-17 16:05:00 · 99 阅读 · 0 评论 -
SS00012.spark——|Hadoop&Spark环境部署.v12|——|Hive.v02|Hive.metastore|HiveServer2|
一、metastore远程模式配置规划:节点metastoreclientHadoop01√Hadoop02√Hadoop03√二、配置并启动HiveServer服务### --- 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop03并配置[root@hadoop02 ~]# c...原创 2022-04-17 16:05:00 · 100 阅读 · 0 评论 -
SS00013.spark——|Deployment|
NO:Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...原创 2022-04-17 16:06:00 · 54 阅读 · 0 评论 -
SS10000.spark——|Deployment|
NO:Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...原创 2022-04-17 16:06:00 · 58 阅读 · 0 评论