- 博客(27)
- 收藏
- 关注
RSS订阅原创 Flume 安装
tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /usr/local/1.配置环境变量export FLUME_HOME=/usr/local/apache-flume-1.7.0-binexport PATH=$PATH:$FLUME_HOME/binsource /etc/profile2.新建个Flume配置文件进入到flume的conf下，创建一个flume.conf 文件# 指定Agent的组件名称a1.sources = r
2021-08-30 17:26:51
85
原创 Kafka 集群安装
一.Kafka安装1，此处我们选择下载的是kafka 2.12-2.3.0版本，下载路径如下：http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz。各位也可以在此处http://mirror.bit.edu.cn/apache/kafka/挑选其他版本。cd /usr/localwget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgztar -
2021-08-30 16:13:17
143
原创 Zookeeper 集群安装
一，安装配置Zookeeper1，在http://mirror.bit.edu.cn/apache/可以下载Apache有关的软件。此处我们下载3.4.14版本：cd /usr/localwget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gztar -zxvf zookeeper-3.4.14.tar.gzrm zookeeper-3.4.14.tar.gz2，配置环境变量
2021-08-30 15:43:02
88
原创 spark集群安装
1.初始准备：准备3台虚拟机，其IP分别为：192.168.5.130 s201192.168.5.131 s202192.168.5.132 s203需要安装好JDK，环境生效即可安装好Hadoop集群2.安装scala在https://www.scala-lang.org/download/底部可以进行相应版本压缩包的下载cd /usr/localwget https://downloads.lightbend.com/scala/2.13.0/scala-2.13.
2021-08-30 11:07:26
142
原创 RPM包，搭建mysql
1，下载安装包并解压tar -xvf mysql-5.7.30-1.el7.x86_64.rpm-bundle.tar -C /data01/soft/mysql2，卸载mariadbrpm -qa | grep mariadbrpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_643，安装rpm包（按照顺序安装）rpm -ivh + 包安装所需要的包mysql-community-common-5.7.30-1.el7.x86_64.rpmmysql-
2021-08-30 10:42:04
112
原创 sqoop安装
sqoop1,tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar1.配置环境变量export SQOOP_HOME=/usr/local/sqoop-1.4.7export PATH=$PATH:$SQOOP_HOME/binsource /etc/profile2.sqoop配置文件修改将sqoop-env-template.sh复制一份，并取名为sqoop-env.sh文件末尾加入一下配置：#export HADOOP_COMMON
2021-08-30 10:17:16
105
原创 HIVE集群安装
1.初始准备：准备3台虚拟机，其IP分别为：192.168.5.130 s201192.168.5.131 s202 我在这个服务器上安装的mysql192.168.5.132 s203需要安装好JDK，环境生效即可需要配置好Hadoop并启动需要安装并配置好Mysql2.安装Hive在Apache的官方镜像中我们可以下载Hive的各个版本：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/此处我们选择最新版Hive_2.3.5
2021-08-30 10:09:55
649
原创 springboot项目写接口案例
一、项目配置示例：application.ymlspring: datasource: driver-class-name: com.mysql.jdbc.Driver url: jdbc:mysql://192.168.5.131:3306/datav?characterEncoding=UTF-8 username: root password: 123456mybatis: mapper-locations: classpath:mappers/*Mapp
2021-08-30 09:21:50
465
原创 ajaxDemo
一、ajax 请求后台JSON ，图形展示代码如下（示例）：<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title>可视化页面</title> <script type="text/javascript" src="static/js/echarts.min.js"></script> <script type
2021-08-30 09:12:37
205
原创 MR 程序代码
一、建立MAVEN工程，在POM.XML中引入JAR包pom.xml<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.14.0</versio
2021-08-22 23:06:09
712
原创 Hadoop 服役新节点和退役旧节点
一、服役新节点1.克隆一台节点（1）修改IP主机名（2）删除HDFS文件系统的data 和 log文件夹（3）source /etc/profile（4）免密登录（5）集群中的 slaves文件添加新节点的主机名2.启动节点sbin/hadoop-daemon.sh start datanodesbin/hadoop-daemon.sh start nodemanager二、退役旧节点1.白名单模式（不推荐略）2.黑名单模式（推荐）（1）在hadoop配置文件目录下/etc/ha
2021-08-22 22:30:51
248
原创 Hadoop API操作
API操作一、建立MAVEN工程，在POM.XML中引入JAR包pom.xml<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.14.0</
2021-08-22 21:50:31
160
原创 hadoop集群部署
一、集群部署规划s201s201s201HDFSDataNode NameNodeDataNodeDataNode SecondaryNameNodeYARNResourceManger NodeMangerNodeMangerNodeManger二、配置IP映射1.配置IP映射vim /etc/hostname 修改主机名vim /etc/hosts 修改映射文件192.168.5.130 s201192.168.5.131 s20219
2021-08-22 21:18:28
99
原创 xcall.sh和xsync.sh
xcall.sh和xsync.sh前题1) 脚本放入/usr/local/bin目录下2) 本机可以正常运行jps命令这个问题是因为在脚本目录下需要放置jps的软链接，命令如下：ln -s /usr/local/jdk1.8.0_291/bin/jps /usr/local/bin/jps3) 做好免密登录一、xcall.sh$# 参数个数，先校验个数$@ 所有参数#!/bin/bashpcount=$#if((pcount==0));then echo no ar
2021-08-22 20:20:55
268
原创 设置主机名，免密登录
设置主机名，免密登录一、查看修改主机名1) 查看主机名：hostname2) 修改主机名：vim /etc/hostname3) 配置主机名称(域名信息)和IP地址对应关系【其实也就是本地配置域名和IP地址的转换关系】:vim /etc/hosts二、配置免密登录1.运行 ssh-keygen代码如下（示例）：生成的公钥 私钥在 目录 /root/,ssh/id_rsa下，记住运行生成命令，不要输入密钥的管理密码。2.把公钥发给所有的机器，包括自己，用命令ssh-copy-id s20
2021-08-22 19:41:01
255
原创 LINUX 服务器节点环境准备
LINUX 服务器节点环境准备一，配置静态IP网卡进入目录 /etc/sysconfig/network-scripts/2.修改 ifcfg-ens333. 重启网络即可systemctl restart network4.关闭防火墙systemctl stop firewalld.service关闭开机启动systemctl disable firewalld.service...
2021-08-22 19:15:38
177
原创 第一次写CSDN博文感受
第一次写CSDN博文感受一，新的开始已经从事程序员这个行业10多年了，一直就想写些自己的感悟和大家分享一下，也是想记录一下自己的生活经历。但是一直都没走出第一步，很庆幸今天我终于迈出了第一步。无论写的好坏，都请大家多担待，我也会慢慢的改进。二，记录的内容我记录的内容分类大致为：JAVA相关；大数据相关；数据库相关；LINUX服务器相关；论坛相关；app相关；生活相关；生命感悟相关。我分享的内容会很杂，也是想在这里记录下我生命的点滴，等老去的那天，可以回头看看，知道自己这些年都做
2021-03-27 11:50:40
243
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人