关注
分享
hadoop 集群安装，已经应用系列。
醉卧千山下，诗酒趁年华。
两分观世间，八分观自在。让向外看的眼睛向内看，看到的不是别人的过错，而是自己的不足。
展开
-
hadoop集成hive
hadoop 集成hive原创 2022-11-19 21:39:45 · 337 阅读 · 0 评论 -
分布式hadoop 部署
分布式hadoop部署原创 2022-11-19 21:38:54 · 731 阅读 · 0 评论 -
xcall.sh和 xsync.sh
xcall.sh和 xsync.sh原创 2022-11-19 21:32:36 · 313 阅读 · 0 评论 -
Linux 免密 时钟
Linux 时钟原创 2022-11-19 21:27:11 · 204 阅读 · 0 评论 -
linux jdk
jdk原创 2022-11-19 21:25:04 · 60 阅读 · 0 评论 -
hive的简单语句
hive原创 2022-11-19 19:54:19 · 975 阅读 · 1 评论 -
Python 爬虫
python 爬虫原创 2022-11-19 19:11:10 · 285 阅读 · 0 评论 -
最全wordcount
wordcount原创 2022-11-19 19:07:02 · 512 阅读 · 0 评论 -
Echarts使用
echarts 柱状图原创 2022-11-19 19:02:29 · 150 阅读 · 0 评论 -
Flume 安装
tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/1.配置环境变量export FLUME_HOME=/usr/local/apache-flume-1.7.0-binexport PATH=$PATH:$FLUME_HOME/binsource /etc/profile2.新建个Flume配置文件进入到flume的conf下，创建一个flume.conf 文件# 指定Agent的组件名称a1.sources = r原创 2021-08-30 17:26:51 · 64 阅读 · 0 评论 -
Kafka 集群安装
一.Kafka安装1，此处我们选择下载的是kafka 2.12-2.3.0版本，下载路径如下：http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz。各位也可以在此处http://mirror.bit.edu.cn/apache/kafka/挑选其他版本。cd /usr/localwget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgztar -原创 2021-08-30 16:13:17 · 103 阅读 · 0 评论 -
Zookeeper 集群安装
一，安装配置Zookeeper1，在http://mirror.bit.edu.cn/apache/可以下载Apache有关的软件。此处我们下载3.4.14版本：cd /usr/localwget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gztar -zxvf zookeeper-3.4.14.tar.gzrm zookeeper-3.4.14.tar.gz2，配置环境变量原创 2021-08-30 15:43:02 · 64 阅读 · 0 评论 -
spark集群安装
1.初始准备：准备3台虚拟机，其IP分别为：192.168.5.130 s201192.168.5.131 s202192.168.5.132 s203需要安装好JDK，环境生效即可安装好Hadoop集群2.安装scala在https://www.scala-lang.org/download/底部可以进行相应版本压缩包的下载cd /usr/localwget https://downloads.lightbend.com/scala/2.13.0/scala-2.13.原创 2021-08-30 11:07:26 · 122 阅读 · 0 评论 -
RPM包，搭建mysql
1，下载安装包并解压tar -xvf mysql-5.7.30-1.el7.x86_64.rpm-bundle.tar -C /data01/soft/mysql2，卸载mariadbrpm -qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_643，安装rpm包（按照顺序安装）rpm -ivh + 包安装所需要的包mysql-community-common-5.7.30-1.el7.x86_64.rpmmysql-原创 2021-08-30 10:42:04 · 91 阅读 · 0 评论 -
sqoop安装
sqoop1,tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar1.配置环境变量export SQOOP_HOME=/usr/local/sqoop-1.4.7export PATH=$PATH:$SQOOP_HOME/binsource /etc/profile2.sqoop配置文件修改将sqoop-env-template.sh复制一份，并取名为sqoop-env.sh文件末尾加入一下配置：#export HADOOP_COMMON原创 2021-08-30 10:17:16 · 82 阅读 · 0 评论 -
HIVE集群安装
1.初始准备：准备3台虚拟机，其IP分别为：192.168.5.130 s201192.168.5.131 s202 我在这个服务器上安装的mysql192.168.5.132 s203需要安装好JDK，环境生效即可需要配置好Hadoop并启动需要安装并配置好Mysql2.安装Hive在Apache的官方镜像中我们可以下载Hive的各个版本：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/此处我们选择最新版Hive_2.3.5原创 2021-08-30 10:09:55 · 599 阅读 · 0 评论 -
springboot项目写接口案例
一、项目配置示例：application.ymlspring: datasource: driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://192.168.5.131:3306/datav?characterEncoding=UTF-8 username: root password: 123456mybatis: mapper-locations: classpath:mappers/*Mapp原创 2021-08-30 09:21:50 · 420 阅读 · 0 评论 -
ajaxDemo
一、ajax 请求后台JSON ，图形展示代码如下（示例）：<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title>可视化页面</title> <script type="text/javascript" src="static/js/echarts.min.js"></script> <script type原创 2021-08-30 09:12:37 · 172 阅读 · 0 评论 -
MR 程序代码
一、建立MAVEN工程，在POM.XML中引入JAR包pom.xml<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.14.0</versio原创 2021-08-22 23:06:09 · 679 阅读 · 0 评论 -
Hadoop 服役新节点和退役旧节点
一、服役新节点1.克隆一台节点（1）修改IP主机名（2）删除HDFS文件系统的data 和 log文件夹（3）source /etc/profile（4）免密登录（5）集群中的 slaves文件添加新节点的主机名2.启动节点sbin/hadoop-daemon.sh start datanodesbin/hadoop-daemon.sh start nodemanager二、退役旧节点1.白名单模式（不推荐略）2.黑名单模式（推荐）（1）在hadoop配置文件目录下/etc/ha原创 2021-08-22 22:30:51 · 203 阅读 · 0 评论 -
Hadoop API操作
API操作一、建立MAVEN工程，在POM.XML中引入JAR包pom.xml<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.14.0</原创 2021-08-22 21:50:31 · 118 阅读 · 0 评论 -
hadoop集群部署
一、集群部署规划s201s201s201HDFSDataNode NameNodeDataNodeDataNode SecondaryNameNodeYARNResourceManger NodeMangerNodeMangerNodeManger二、配置IP映射1.配置IP映射vim /etc/hostname 修改主机名vim /etc/hosts 修改映射文件192.168.5.130 s201192.168.5.131 s20219原创 2021-08-22 21:18:28 · 79 阅读 · 0 评论 -
xcall.sh和xsync.sh
xcall.sh和xsync.sh前题1) 脚本放入/usr/local/bin目录下2) 本机可以正常运行jps命令这个问题是因为在脚本目录下需要放置jps的软链接，命令如下：ln -s /usr/local/jdk1.8.0_291/bin/jps /usr/local/bin/jps3) 做好免密登录一、xcall.sh$# 参数个数，先校验个数$@ 所有参数#!/bin/bashpcount=$#if((pcount==0));then echo no ar原创 2021-08-22 20:20:55 · 223 阅读 · 0 评论 -
多机器安装hadoop集群
多机器安装hadoop集群原创 2021-08-22 19:53:47 · 371 阅读 · 0 评论 -
设置主机名，免密登录
设置主机名，免密登录一、查看修改主机名1) 查看主机名：hostname2) 修改主机名：vim /etc/hostname3) 配置主机名称(域名信息)和IP地址对应关系【其实也就是本地配置域名和IP地址的转换关系】:vim /etc/hosts二、配置免密登录1.运行 ssh-keygen代码如下（示例）：生成的公钥 私钥在 目录 /root/,ssh/id_rsa下，记住运行生成命令，不要输入密钥的管理密码。2.把公钥发给所有的机器，包括自己，用命令ssh-copy-id s20原创 2021-08-22 19:41:01 · 212 阅读 · 0 评论 -
LINUX 服务器节点环境准备
LINUX 服务器节点环境准备一，配置静态IP网卡进入目录 /etc/sysconfig/network-scripts/2.修改 ifcfg-ens333. 重启网络即可systemctl restart network4.关闭防火墙systemctl stop firewalld.service关闭开机启动systemctl disable firewalld.service...原创 2021-08-22 19:15:38 · 132 阅读 · 0 评论