榴芒姐姐-CSDN博客

原创一些java的小实例（持续更新）

一些java的小实例1.随机生成1~100之间的随机数30个，求最大值？并确定该值是否重复？若存在重复，重复多少次？Random rand = new Random(); int [] arr = new int[30]; for (int i = 0; i <arr.length ; i++) { arr[i] = rand.nextInt(100) + 1; } int max=arr[0];

2020-09-28 10:33:36 252

原创安装基于ESXI6.7的docker容器环境——在ESXI6.7上安装centos7

这样，一台centos7就安装好啦！下面对centos7做初始化设置设置时间，设置网络，设置用户及密码，设置主机名，设置主机名映射。这里省略。核心步骤参考下方：#设置主机名hostnamectl set-hostname docker01#网络配置#打开网络配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens192BOOTPROTO="static"IPADDR=192.168....

2021-05-12 08:54:42 2805

原创解决——您当前正在评估模式下使用 ESXi。此许可证将在 XX 天后过期

本人的ESXI版本为6.7。点击下方的分配许可证：一些序列号仅供参考：HV4WC-01087-1ZJ48-031XP-9A843NF0F3-402E3-MZR80-083QP-3CKM24F6FX-2W197-8ZKZ9-Y31ZM-1C3LZJZ2E9-6D2DK-XZQD0-632E4-33E7ZMZ48M-DNK56-ZZJD0-RTCE2-9321X0Y0AJ-4P29H-LZV81-59AQ2-C291V0A4GL-D7JD7-LZR10-M30G0-A3

2021-05-12 08:52:23 18157 4

原创安装基于ESXI6.7的docker容器环境——安装ESXI6.7

安装步骤如下：安装ESXI6.7版本，在ESXI上安装centos7,在centos7上安装docker,在docker上安装mysql,tomcat。。。。。。这篇先安装ESXI6.7镜像文件下载资源：ESXI6.7镜像文件下载点这里，提取码xdv8下面开始启动这台虚拟机，进行一些相关配置。再次进入黄界面，等进度走完：上述改完之..

2021-05-12 08:50:20 8576

原创将mongodb的数据导入到hive中

第一种方法：做hive与mongodb映射先将需要的三个mongo相关的jar包放到hive110/lib下，并授权为777.具体参照https://blog.csdn.net/alisa_Ge/article/details/116531789?spm=1001.2014.3001.5501创建hive的外部表：create external table test.mongodb_users(user_id string,locale string,birthyear string,

2021-05-08 16:48:29 1508

原创 kafka数据导入到Mongodb

创建一个maven项目——kafkatomongodb更改pom.xml文件中的依赖：<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8&lt

2021-05-08 16:23:44 1267 1

原创使用springboot暴露oracle数据接口

新建一个Spring Initializr项目2.把pom.xml文件中的oracle依赖换成自己的oracle版本依赖：原来的：现在的： <dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc6</artifactId> <version>11.2

2021-05-06 23:38:14 248 1

原创 maven添加oracle依赖

本人使用的oracle11g 版本为11.2.0.1.0可以在oracle中使用以下语句查询oracle版本：select * from v$version;先将安装的oracle的jar包——ojdbc6.jar复制出来。具体路径为：/data/oracle/product/11.2.0/db_1/jdbc/lib/ojdbc6.jar。把它放到d盘下。然后在windows下，添加maven环境变量：在path中添加：打开cmd黑窗口，输入以下命令：mvn

2021-04-30 16:27:14 1569 3

原创 spring+mybatis连接oracle(使用阿里巴巴连接池druid)

创建一个web工程——mywebspringmybatisoracle。项目架构如下：导入pom依赖：<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target

2021-04-30 16:10:21 521 1

原创 mybatis连接oracle

本文实现mybatis连接oracle,并做增删改查操作。新建一个maven项目——myoracle。项目架构如下：先导入pom依赖： <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <m

2021-04-30 14:11:30 9353

原创 java之将hive中的数据批量写入到mysql中（代替sqoop工具）

因为我们hive中的表数据保存的格式为orc,所以通过sqoop将hive数据导到mysql中，会保持原有的数据形态不变，然后mysql还需要解析orc文件，所以会导致数据导入到mysql会很慢。所以我们使用mybatis阿里巴巴连接池将hive中的数据批量插入数据到mysql。新建一个maven工程——mymybatistomysql。工程架构如下：首先导入依赖包pom.xml文件<properties> <project.build.sourceEncod

2021-04-30 14:00:23 1099 1

原创 java连接hive报java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration

java连接hive报java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration是因为缺少hadoop-common的依赖包。<dependencies>  <dependency> <groupId>.

2021-04-21 12:08:53 1864 1

原创将kafka主题中的数据写到HBase中

写在前面，最好将虚拟机的ip地址映射写到windows下的hosts文件中，不然连接会非常的耗时。具体路径：C:\Windows\System32\drivers\etc\hosts1.新建maven项目——kafkatohbase项目架构如下：2.导入pom.xml的依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> .

2021-04-11 22:26:14 500

原创使用flink将kafka中的主题数据做一些转换再写到kafka中新的主题中

1.新建maven项目——myflink2.导入pom.xml依赖<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.co

2021-04-08 23:04:10 373

原创使用sparkstreaming将kafka中的主题数据做一些转换再写到kafka中新的主题中

1.新建一个maven工程——MySparkstreaming2.导入pom.xml依赖。各个依赖版本要匹配哦，不然会报错哦~比如会报错AbstractMethodError <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.sour

2021-04-08 00:01:27 329

原创使用flink消费（读取）kafka主题中的数据

1.新建一个maven项目——myflink。2.导入pom.xml依赖<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven

2021-04-06 23:24:14 1413

原创 flink自定义数据源——获取当前时间戳

1.新建maven工程——myflink2.导入pom.xml依赖<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.co

2021-04-05 23:52:28 1181

原创单节点安装kafka及kafka相关的常用命令

首先你的节点上需安装zookeeper并启动zookeeper服务。好吧，让我们先安装配置zookeeper1.解压zookeeper压缩包。本人使用的版本为zookeeper-3.4.5-cdh5.14.2.tar.gztar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/software2.重命名zookeeper。mv zookeeper-3.4.5-cdh5.14.2.tar.gz/ zookeeper3453.切换至zook

2021-04-05 23:29:51 166

原创 flink之split算子分流过期及替代方法（案例）——使用flink读取数组，并将数组中的数字按照奇数偶数分流

1.新建一个maven工程——myflink.2.导入pom.xml相关依赖。 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</m

2021-04-05 23:05:38 1077

原创使用java编写kafka生产者打成jar包，将windows下的文件写到kafka的主题中。

1.新建maven工程——mykafka2.配置pom.xml文件。 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.

2021-04-05 12:08:17 594 1

原创使用flume将csv文件写到kafka的主题中

现在有一个项目数据文件：event_attendees.csv、events.csv、test.csv、train.csv、user_friends.csv、users.csv需求：需要将这些文件通过flume传到kafka中。首先，你的虚拟机需要具备jdk、flume、kafka、zookeeper。本人上述软件版本为：jdk-8u111-linux-x64.tar.gz、flume-ng-1.6.0-cdh5.14.2.tar.gz、kafka_2.11-2.0.0.tgz、zookeepe

2021-04-01 19:28:41 607

原创 split(“,“)和split(“,“,-1)的区别

例子如下： var a="123,4,,," var b="123,,,4" println(a.split(",").length) println(a.split(",", -1).length) println(b.split(",").length) println(b.split(",", -1).length)运行结果如下：所以说，如果后面n位都是切割符像上述变量a那样后面全是逗号，split(",")不会继续切分，而split(.

2021-04-01 13:52:36 484

原创使用SparkStreaming来消费Kafka中的topic主题,并对主题做一些转换

1.新建一个maven工程——mySparkstreaming。2.配置好pom.xml文件。windows下安装的spark版本为2.4.4版本，但是在这个例子中，需要降低其版本，否则会报以下错误：Exception in thread "main" java.lang.AbstractMethodError<properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEn

2021-04-01 10:58:58 592

原创 java经典排序之快速排序和归并排序

快速排序：public class Quicksort { private int midNum(int[] arr,int begin,int end){ int _begin=begin,t; while(begin<end){ if (arr[end]>=arr[_begin]) end--; else { if (arr[begin]<=arr[_beg.

2021-03-27 00:11:32 104

原创 SSM之mybatis连接mysql，实现单表的增删改查

mysql中的表(locale)如图:工具：IntelliJ IDEA 2019.3.4 x64先创建一个maven工程。在pom.xml文件中导入数据库依赖包和mybatis依赖包。 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>

2021-03-13 15:21:54 186

原创聊一聊hive数据倾斜

发发发发发发付付付

2021-03-01 23:59:57 848

原创 PyCharm中，使用scrapy运行爬虫出现ModuleNotFoundError: No module named ‘protego‘”

在PyCharm的控制台输入：scrapy crawl 爬虫名称，然后enter运行报以下错：from protego import ProtegoModuleNotFoundError: No module named ‘protego‘解决办法：在cmd中输入：conda install protego选择y。等待安装完成即可。如下图所示：然后重新执行 scrapy crawl 爬虫名称。就ok了！...

2021-01-27 16:49:23 849

原创以kafka做数据源，用flume作为消费者，将消费的数据放到HDFS上

任务：在消费者端写一个时间戳拦截器1.在之前自定义的flume生产者拦截器的maven项目中，新建一个class文件--TimeStampInterceptorpackage cn.kgc.flume.interceptor;import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import org.apache.flume.Context;import org.apache.flume.Event

2021-01-20 21:30:45 550

原创 idea做一个日志自动生成的jar包，并用flume做生产者，采集日志数据，用kafka做消费者来消费日志数据

前提：先准备好日志自动生成的jar包。并将其放入虚拟机master01中。

2021-01-20 20:33:09 869

原创跟我学搭建集群(四）

配置flume前提：在master01中先操作以下步骤。1.将flume压缩包放到路径/opt/download/spark2.解压到路径/opt/software/spark。当前路径为/opt/download/hadoop//解压flumetar -zxf apache-flume-1.9.0-bin.tar.gz -C /opt/software/spark3.切换路径到/opt/software/spark ，并将解压过后的apache-flume-1.9.0-bin命名为

2021-01-20 19:48:37 145

原创跟我学搭建集群(三)

配置kafka前提：在master01中先操作以下步骤。1.将kafka压缩包放到路径/opt/download/spark2.解压到路径/opt/software/spark。当前路径为/opt/download/hadoop//解压kafkatar -zxf kafka_2.11-2.4.1.tgz -C /opt/software/spark3.切换路径到/opt/software/hadoop ，并将解压过后的kafka_2.11-2.4.1命名为kafka211241

2021-01-20 00:12:32 153

原创跟我学搭建集群(二)

配置zookeeper前提：在master01中先操作以下步骤。1.将zookeeper压缩包放到路径/opt/download/hadoop2.解压到路径/opt/software/hadoop。当前路径为/opt/download/hadoop//解压zookeepertar -zxf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/software/hadoop/3.切换路径到/opt/software/hadoop将解压过后的apach

2021-01-19 12:05:51 91

原创跟我学搭建集群(一)

前提：本集群中所用软件皆为Apache版本。jdk版本：jdk-8u111-linux-x64.tar.gz，scala版本：scala-2.11.12.tgzhadoop版本：hadoop-3.1.3.tar.gz，zookeeper版本：apache-zookeeper-3.5.7-bin.tar.gz，kafka版本：kafka_2.11-2.4.1.tgz，flume版本：apache-flume-1.9.0-bin.tar.gz我们这个集群由四台机子构成，分别是master01，mas

2021-01-18 23:30:54 204

原创 idea运行项目报错提示java:Multiple encodings set for module chunk express “GBK“ will be used by compiler

报错如下图所示：解决办法：去打开.idea文件下的 encodings.xml。将里面的内容改为：<?xml version="1.0" encoding="UTF-8"?><project version="4"> <component name="Encoding"> <file charset="UTF-8" url="file://$PROJECT_DIR$"/> </component></

2021-01-12 11:35:14 1181

原创 Spark连接Mysql、Hive、HBase

本篇使用到的开发工具IntelliJ IDEA,jdk版本为：jdk1.8，虚拟机版本为CentOS 7，scala版本为：scala-2.11.12，Spark版本为spark-2.4.4-bin-hadoop2.6MySQL版本为：5.6.50 MySQL Community Server (GPL)，hive版本为：hive-1.1.0-cdh5.14.2，HBase版本为：hbase-1.2.0-cdh5.14.2。一、使用Spark连接Mysql新建一个maven项目sparkConn

2021-01-10 21:07:42 552

原创 Java连接Mysql、Hive、HBase

本篇使用到的开发工具IntelliJ IDEA,jdk版本为：jdk1.8，虚拟机版本为CentOS 7。MySQL版本为：5.6.50 MySQL Community Server (GPL)，hive版本为：hive-1.1.0-cdh5.14.2，HBase版本为：hbase-1.2.0-cdh5.14.2。一、Java连接Mysql先新建一个maven项目。在pom.xml中放入<properties> <project.build.sourceEnc

2021-01-10 14:15:20 343

原创简单粗暴了解Zookeeper的选举制入个门

首先你要知道两个东西，serverId（服务器ID，myid）和zxid（最新的事物ID, LastLoggedZxid）myid越大在选择算法中的权重越大，zxid越大说明数据越新，在选举算法中数据越新权重越大以下两种情况会触发选举1.服务器初始化时触发Leader选举。2.服务器运行时期触发Leader选举(Leader挂啦）直接上例子：第一种情况：在初始化时，当一个Server1启动时，其无法单独进行和完成Leader选举，当第二台服务器Server2启动后，就可以开始选举了。

2020-12-07 23:06:16 255

原创手把手教你安装一台虚拟机Linux+Centos7

首先准备好所需的镜像文件。本篇用到的镜像文件：CentOS-7-x86_64-DVD-1908.iso。可自行下载:https://www.centos.org/download/当然，前提是你电脑上已经安装好了VMware Workstation Pro。1.打开VMware Workstation Pro。2.选择自定义。点击下一步。3.点击下一步。4.选择稍后安装操作系统。5.选择linux及centos7 64位。6.修改虚拟机名字及存放位置。

2020-11-29 23:42:17 151

原创利用sqoop实现mysql、hdfs、hive、hbase数据互导

1.利用sqoop实现mysql数据和hdfs数据互导1.1mysql——>hdfs：准备一张表：scorecreate table score( sid int primary key auto_increment, student_id int not null, course_id int not null, score int not null);往表中插入一些数据。insert into score(student_id,c...

2020-11-20 08:13:05 2129

原创在hive中创建不同类型的表

1.创建内部表create table 表名( 属性名属性类型， ... 比如： name struct<first:string,last:string>, age int, hobbies array<string>, deliveryAdd map<string,string>)row format delimitedfields terminated by '|'collection item

2020-11-14 23:11:46 497

桶排序原理（举具体的例子说明）.wmv|桶排序原理.wmv

空空如也