WanWannnnn-CSDN博客

原创 yum安装中报错file:///mnt/repodata/repomd.xml: [Errno 14] curl#37 - “Couldn‘t open file /mnt/repodata/repo

Loaded plugins: fastestmirrorLoading mirror speeds from cached hostfilecentos-sclo-rh: mirrors.ustc.edu.cncentos-sclo-sclo: mirrors.ustc.edu.cnfile:///mnt/repodata/repomd.xml: [Errno 14] curl#37 - “Couldn’t open file /mnt/repodata/repomd.xml”Trying o

2021-09-28 22:02:23 3365 1

原创 Flink-常用Source与Sink的使用汇总整理

Flink-常用Source与Sink的使用汇总整理基础结构Source本地数据源端口数据源文件数据源Kafka-Source自定义JDBC-Source数据处理SingleDataStreamMultiDataStream侧输出流分区算子UDFFunctionRichFunctionSink本地Sink端口Sink文件SinkKafka-Sink自定义JDBC-Sink基础结构object Source2Sink { def main(args: Array[String]): Unit = {

2021-08-31 14:16:03 1650

原创集群服务启动脚本

用户/bin下面创建集群同步执行命令for i in master slave1 slave2do echo --------- $i ---------- ssh $i "$*"donehadoop启动/关闭根据部署来,我的dfs在master上，yarn在salve2上#!/bin/bashcase $1 in"start"){ ssh master start-dfs.sh ssh slave2 start-yarn.sh};;"stop")

2021-08-24 16:33:55 376

原创 VMware虚拟机Centos7搭建Hadoop、Zookeeper、Kafka、Flink集群

搭建Hadoop、Zookeeper、Kafka、Flink集群安装规划全机互通Java安装Mysql安装Hadoop安装解压、安装配置配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置hadoop-env.sh配置mapred-env.sh配置yarn-env.sh配置works添加变量分发给slaveHDFS格式化启动Hadoop服务Hive安装解压、安装配置修改hive-site.xml修改hive-env.sh添加依赖包添

2021-08-24 15:43:59 2314 2

原创 CentOS7、Docker下搭建CDH6.2.0集群环境

CentOS7、Docker下搭建CDH6.2.0集群环境安装规划环境准备环境安装CM安装集群安装集群的重启常见问题安装规划hadoop1hadoop2hadoop3mysqlcmrepocloudera-manager-server√cloudera-manager-agent√√√NameNode√DataNode√√√SecondaryNameNode√ResouceManager√

2021-08-16 19:14:08 943 2

原创 Mybatis的简单使用，连接数据库，增删改查的实现

Mybatis的简单使用搭建环境1、新建一个maven工程，qucikstart2、修改Maven pom文件，添加所需依赖3、Mybatis.xml4、datasource.properties5、userMapper.xml6、工具类封装7、测试类CRUDMap实现任意匹配使用别名结果集映射使用注解搭建环境1、新建一个maven工程，qucikstart文件结构：2、修改Maven pom文件，添加所需依赖<dependencies> <!-- mybatis依赖

2021-08-14 10:07:26 210

原创 Scala中Array的算子记录

常用算子介绍提取元素All:详解：applyOrElsetakeWhilecollect&collectFirstinits&tailasorElse修改元素逐个迭代处理分组All:详解：sliding聚合All:详解：reduce\[Left][Option]/reduce\[Right][Option]fold & foldleft & foldrightsacn[Left/Right]aggregate验证长度转变All:详解:array,clone(),deep,re

2021-07-26 21:08:55 844

原创 Spark安装及IDEA第一个Spark程序

Spark安装及IDEA第一个Spark程序Spark安装Linux下安装解压改名修改conf下配置文件配置系统环境变量启动测试Windows下安装系统变量配置Path变量配置创建IDEA程序Spark安装Linux下安装解压tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/software/改名mv spark-3.1.2-bin-hadoop3.2/ spark312修改conf下配置文件#释放配置文件cp spark-env.sh.t

2021-07-25 19:08:07 553

原创 Scala的安装，IDEA配置Scala

Scala的安装及IDEA第一个Scala程序Scala安装Linux下安装解压配置环境变量测试Windows下安装安装环境变量配置测试IDEA创建第一个Scala程序IDEA安装Scala插件配置Global Libraries创建scala文件Scala安装Linux下安装解压tar -zxvf scala-2.12.10.tgz -C /opt/software/#改名mv scala-2.12.10/ scala212配置环境变量#scalaexport SCALA_HOME=

2021-07-25 19:02:34 462

原创 Flume、gcc、netCat的安装及Flume对hdfs、hive、Hbase的操作

安装及常用操作Flume、gcc、netCat安装Flume安装gcc安装netcat安装Flume操作侦听测试编辑配置文件组件声明初始化数据源初始化通道初始化数据槽关联组件启动flume使用 netcat 工具向本机 6666端口发送内容HDFSAVROTaildirHive sinkHbaseFlume、gcc、netCat安装Flume安装cd /opt/software/flume190/confmv flume-env.sh.template flume-env.shexport JAV

2021-07-25 18:56:59 539

原创 Sqoop的安装及使用Sqoop导入至mysql、hive、hbase

Sqoop的安装及常见使用1、Sqoop的安装2、Sqoop的使用1.Sqoop的常用命令2.命令对应参数解析2.1数据库连接参数2.2 import参数2.3 export参数2.4 Hive参数2.5 Job参数3、Sqoop常用操作1.hdfs导入到mysql2.mysql导入到hdfs全量导入列剪裁行裁剪+多个reducer增量导入|append增量导入|lastmodified3.mysql导入到hive中全量导入间接导入方式一方式二4.job1、Sqoop的安装解压sqoop安装包tar

2021-07-06 21:01:27 1120 1

原创 Zookeeper和Hbase的安装

Zookeeper和Hbase的安装Zookeeper的安装解压文件参数配置检测启动Hbase的安装解压文件参数配置检测启动Hbase+Hive配置Zookeeper的安装解压文件#解压tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/software/#改名mv apache-zookeeper-3.5.7-bin/ zookeeper357参数配置#在/opt/software/zookeeper357下创建文件夹mydatam

2021-06-27 14:39:41 260

原创 Zeppelin的安装及hive解释器配置

Zeppelin的安装及hive解释器配置1、解压2、配置参数3、配置hive解释器4、创建NoteBook测试1、解压解压tar -zxvf zeppelin-0.8.2-bin-all.tgz -C /opt/software/改名 mv zeppelin-0.8.2-bin-all/ zeppelin0822、配置参数/opt/software/zeppelin082/conf#复制出配置文件，去掉后缀cp zeppelin-env.sh.template zepp

2021-06-21 21:16:09 258

原创 Hive环境的配置与安装

Hive环境的配置与安装Hive安装准备工作安装过程Hive安装检测Hive安装准备工作JDK、MySql、Hadoop需要安装完成准备好hive的安装包安装过程将安装包解压至安装目录#解压tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/software/修改个名字，方便使用mv apache-hive-3.1.2-bin/ hive312将默认配置 hive-default.xml.template 修改

2021-06-10 20:17:11 367

原创虚拟机与Windows下Hadoop的环境配置与安装

虚拟机与Windows下Hadoop的环境配置与安装Hadoop 的配置与安装准备工作环境变量配置配置文件配置格式化namenode虚拟机内部操作检查windows下hadoop配置Hadoop 的配置与安装需要jdk已经配置，这是前提！！准备工作将hadoop安装包上传到虚拟机中。检查IP和hostname的映射是否正确#查看本机ipip addr#查看hostnamehostname#查看hosts配置信息vim /etc/hosts对应好！解压hado

2021-06-06 15:10:55 1864

原创 CentOS7中安装MySQL和JDK

基础配置、MySQL安装，JDK安装使用xshell连接虚拟机基础配置MySQL5.7安装JDK1.8安装使用xshell连接虚拟机启动虚拟机新建连接基础配置配置主机名和IP的映射vi /etc/hosts挂载本地镜像文件mount /dev/sr0 /mnt配置本地镜像源cd /etc/yum.repos.d创建备份文件夹，将默认的备份文件备份至该文件夹mkdir bakmv *.repo bak/创建并编辑本地镜像

2021-05-25 23:55:43 380 1

原创 VMware下，保姆级安装CentOS7最小化版

VMware下，保姆级安装Centos71、VMware新建虚拟机2、CentOS7的安装3、CentOS7系统配置1、VMware新建虚拟机在VMware中新建虚拟机。选择自定义，下一步不用改变，下一步选择稍后安装操作系统，下一步。选择客户机的操作系统及版本信息，下一步。设置好名称和路径，下一步。根据配置情况，自己决定分配多少资源。网络类型选择NAT！！！下一步至选择磁盘，选择创建新虚拟磁盘。自行决定磁盘分配空间。下一

2021-05-25 00:32:39 359 1

原创如何在IDEA中正确配置Maven

如何正确配置Maven1、下载Maven2、本地仓库设置3、国内镜像设置4、IDEA第一次创建maven1、下载Maven在Maven官网进行下载https://maven.apache.org/download.cgi.如果需要旧版本则在页面下选择选择你需要的版本进行下载这里我准备的是2、本地仓库设置先在maven文件夹内创建本地仓库repository文件夹人后打开conf/settings.xml设置本地仓库路径位置路径为解压的位置\apache-maven-3.5.

2021-05-02 15:59:49 371

原创 JAVA面向对象02——封装与继承

封装与继承封装二级目录三级目录封装封装（Encapsulation）二级目录三级目录

2021-04-10 14:57:53 247

原创 JAVA面向对象01——认识类与对象

认识类与对象OOP什么是OOPOOP的程序组成认识类与对象什么是类什么是对象类与对象的关系类与对象的定义和使用定义使用实例化对象使用对象操作类两种方式实例化对象的区别对象的引用传递类的构造方法类的成员方法OOPJava中的重点内容！什么是OOPOOP：Object-Oriented Programming 面向对象程序设计Java是面向对象，OOP是使用Java语言描述客观存在的事和物，并使用程序的逻逻辑将这些事和物联系起来，为实现某个目的而进行交互的过程。因此必须熟悉OOP才能很好的使用Java

2021-04-10 13:23:22 203

Wan的博客