- 博客(43)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用ps命令结束相应进程
在Linux环境中，有些软件可能没有相关的停止脚本，这时可以利用shell命令ps -ef 辅助 kill 进程。以 flume 为例，在启动 flume 脚本后，jps 会查询到一个 Application 的进程。此时如果想 kill 掉该进程，可以使用 ps -ef | grep Application 命令过滤出该进程的详细信息。有两个对应的Application，因此需要进行过滤。ps -ef | grep Application | grep -v grep完成后使用 awk 命
2021-10-31 09:22:49
1998
原创 ambari登录页面打不开，报错：postgresql ...... Check that the hostname and port are correct......
由于任务都是在内网执行，无法贴图，只描述下具体步骤：检查磁盘空间，查看是否空间不足。我的是vg00-lv-root这个空间满了，集群日志无法写入，导致数据库无法启动；检查数据库服务是否正常。由于上述原因我把hdfs-audit.log日志清理了一部分，重新启动pg，成功。至此，重新启动ambari，可以正常登录了。...
2021-10-18 09:56:33
1072
原创 Hive修复外表分区时报错
修复外表分区时报错：ERROR: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask。百度一些方法后发现可以通过参数：set hive.msck.path.validation=ignore; 解决该问题。结果我输出后仍然报错：Cannot modify hive.msck.path.validation at runtime. It is not in list of params that
2021-08-24 19:36:02
1793
1
原创 SparkSql连接数据库报错：py4j.protocol.Py4JJavaError
检查连接数据库的参数是否写错，包括驱动名，账号，密码等等。
2021-04-06 19:44:45
284
原创 执行Hive SQL时报错：Map operator initialization failed
环境：Ambari、Hive（Tez引擎）报错：Map operator initialization failed解决办法：在首次执行前添加jar包：add jar /usr/hdp/hive/lib/hive-contrib-3.1.0.3.1.4.0-315.jar
2021-02-20 09:16:07
677
原创 Flink报错：java.lang.NoClassDefFoundError
这一类问题都可以采用如下方式解决：在右上角选择“Edit xxx”如图如图再次运行程序即可。问题探究：导致上述问题的原因绝大多数是在添加依赖的时候引入了：<scope>provided<scope>。如果只是学习测试代码，不打包的话完全可以注释掉，这样也不需要按照上述步骤进行了。扩展provided在maven中的作用是：暂时提供依赖。当你将程序打包时，不再提供provided所在的依赖包；仅在代码测试时提供该依赖。原因是多数情况下集群中包含
2021-01-25 19:50:32
3101
原创 LeetCode练习题：较大分组的位置
在一个由小写字母构成的字符串 s 中，包含由一些连续的相同字符所构成的分组。例如，在字符串 s = “abbxxxxzyy” 中，就含有 “a”, “bb”, “xxxx”, “z” 和 “yy” 这样的一些分组。分组可以用区间 [start, end] 表示，其中 start 和 end 分别表示该分组的起始和终止位置的下标。上例中的 “xxxx” 分组用区间表示为 [3,6] 。我们称所有包含大于或等于三个连续字符的分组为 较大分组 。找到每一个 较大分组 的区间，按起始位置下标递增顺序排序后，
2021-01-05 22:15:17
128
原创 LeetCode练习题：斐波那契数列
斐波那契数，通常用 F(n) 表示，形成的序列称为 斐波那契数列 。该数列由 0 和 1 开始，后面的每一项数字都是前面两项数字的和。也就是：F(0) = 0，F(1) = 1F(n) = F(n - 1) + F(n - 2)，其中 n > 1给你 n ，请计算 F(n) 。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/fibonacci-number著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。解法一：递归
2021-01-04 22:47:38
326
原创 LeetCode练习题：两数之和
给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/two-sum著作权归领扣网络
2020-12-28 22:15:35
126
原创 Flink报错：The return type of function ‘main‘ could not be determined autommatically
代码如下：public class KeyedStreamExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); DataStream<Senso
2020-09-24 07:37:21
933
原创 Flink侧输出报错：Could not determine TypeInformation for the OutputTag type.
练习侧输出代码时报错：解决办法：在new OutputTag(“side-output”)最后加一个大括号 “{}”private static OutputTag<String> outputTag = new OutputTag<String>("side-output"){};具体原因还未知。
2020-09-15 09:27:34
3265
3
原创 Static methods in interface require -target:jvm-1.8
在Flink中使用WatermarkStrategy类中的方法时可能会报如下异常：解决办法：在File -> Settings中按图设置即可：-target:jvm-1.8
2020-09-14 19:45:16
1186
6
原创 shell脚本练习
文件分发脚本xsync#!/bin/bash# 1. 判断参数，小于1个报错# $#：判断输入参数的个数# -lt：less then，小于if [[ $# -lt 1 ]]; then echo Not Enough Argument!fi# 2. 遍历集群for host in hadoop102 hadoop103 hadoop104; do # 打印正在遍历哪个节点 echo ======== $host ======== # 3. 遍历所有目录 # $@：相当于将输入参数
2020-09-13 18:49:46
401
原创 idea在调试时频繁报错：Variables are not available，并出现数据越界异常
如果是Maven或Spring等项目的module，先移除该module；删除.idea文件；重新导入。初步估计可能是idea的问题。
2020-09-02 09:15:44
2496
原创 kafka报错：Connection to node -3 could not be established.
要确保修改配置文件后分发，重启Kafka；如果不行，开启kafka集群的监听器，修改server.properties文件分别在不同的节点上配置listeners = PLAINTEXT://192.168.1.102:9092listeners = PLAINTEXT://192.168.1.103:9092listeners = PLAINTEXT://192.168.1.104:9092记得重启。...
2020-08-31 19:41:52
2132
原创 Linux下安装Nginx无法启动
可能原因有两个：有其他应用程序占用80端口；Linux系统中非root用于不允许使用1024以下端口，需要开放权限：sudo setcap cap_net_bind_service=+eip /opt/module/nginx/sbin/nginx
2020-08-27 13:59:52
659
原创 SparkStreaming面试题
1. SparkStreaming第一次运行不丢失数据kafka参数auto.offset.reset设置为earliest从最初的偏移量开始消费数据。2. SparkStreaming精准一次性消费导致非精准一次性消费的原因：- 偏移量写入，但消费数据时宕机（丢失数据）- 消费数据，但写入偏移量时宕机（重复消费数据）解决：事务。将消费数据和偏移量写入绑定为原子性操作，一起成功或失败。3. SparkStreaming控制每秒消费数据的速度设置spark.streaming.kafk
2020-08-27 11:12:21
4449
原创 Spark在创建RDD时设置分区不起作用
今天在练习Spark代码的时候遇到一个奇怪的现象：这是我的原始数据，在idea中创建一个txt文件：这是我的代码：val rdd: RDD[String] = sc.textFile("input/test.txt", 3) // 设置分区数为3rdd.saveAsTextFile("output")结果出现了四个分区：要想解决这个问题，首先应该明确两个点：分区数量到底是多少？每个分区到底存储什么数据？遇事不决查看源码。点开textFile方法的源码：在代码的最后一行，我看到了
2020-07-13 12:14:24
380
原创 CentOS7下安装MySQL5.7.28
准备CentOS7、MySQL5.7.28安装卸载Linux下自带的mariadb数据库[node@node1 ~]$ rpm -qa | grep mariadb # 先查询数据库名[node@node1 ~]$ sudo rpm -e mariadb-libs-5.5.60-1.el7_5.x86_64 --nodeps # 大部分情况会存在依赖，使用 --nodeps忽略使用xftp或其他传输工具将MySQL5.7.28安装包上传至Linux中。解压[node@node1 sof
2020-07-08 20:01:40
327
原创 Java自定义类无法直接使用Object中的protected方法
在学习Java的过程中，我们经常能听到一句话——Object是所有类的父类。但是今天我在深入学习的时候遇到了一个问题：package com.test.java;public class Access { public static void main(String[] args) { A a = new A(); a.clone(); }}class A {}很意外，我并不能调用Object类中的clone方法。于是我想到访问权限的问题，私有的
2020-06-30 07:33:20
587
1
原创 使用Scala打印等腰三角形
使用一个for循环打印object Tri { def main(args: Array[String]): Unit = { val num = 10 // 控制行数 for (i <- 1 until 2 * num by 2; j = (2 * num - i) / 2) // i 控制 * 的数量，j 控制 空格数 println(" " * j + "*" * i) }}结果：...
2020-06-28 09:55:17
2785
1
原创 使用不同的云服务器搭建Hadoop集群
文章目录前言服务器基本配置Hadoop完全分布式搭建前言本次使用的云服务器分别是：阿里云服务器、华为云服务器以及百度云服务器。配置均为2核4G1M，仅作为学习使用。软件方面：xshell6jdk1.8hadoop3.1.3节点名称阿里云：node1华为云：node2百度云：node3服务器基本配置创建好实例后，首先要进行连接。本实验使用的是xshell6连接工具。这里以阿里云为例。打开云服务控制台，找到IP地址，记录公网和私网IP；通俗来说公网IP相当于你的身份证，是
2020-06-23 23:03:54
1293
2
原创 Scala中字符串的创建和拼接
前言Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。Scala中的字符串使用的是Java中的字符串，因此Scala中的字符串是一个不可变对象，不可修改。对字符串的任何操作都会产生一个新的字符串。创建字符串object Test { def main(args: Array[string] : Unit = { var a: String = "zhangsan" // 或 var a = "zhangsan" println(a) }}不需要特意
2020-06-23 18:31:28
4648
原创 hadoop初体验——WordCount实例
WordCount实例是大数据学习过程中的入门，相当于学习各种编程语言时打印“Hello World”的一样。本次实验是通过Java代码来实现的。数据准备任意创建一个文本文件，在其中写入一些单词，并用空格隔开。Mapper阶段：import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.h.
2020-05-21 10:08:29
391
原创 简述Hadoop中读写数据流程、NameNode、Seconday以及DataNode工作机制
分布式文件系统HDFS（Distributed File System）是大数据生态组件Hadoop的一个重要组成部分。它是一个具有高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS写在这里插入图片描述数据流程HDFS写数据流程（图）简述：客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在；NameNode返回是否可以上传；客户端向.
2020-05-20 08:49:17
652
原创 JAVA 练习：计算一个字符串中每个字符的出现次数
本文提供两种方法求字符串中每个字符的个数。使用Map集合import java.util.HashMap;import java.util.Map;public class Test { public static void main(String[] args) { String s = "aslhfdlnfkghlrkllhdjlknlfdsbfakblkfl...
2020-04-20 12:08:36
253
原创 Java中的super和this
thisthis体现在很多地方，它的作用就是指代当前的对象。一般在Java中有三种用法普通的直接引用this 相当于是指向当前对象本身。形参与成员名字重名，用 this 来区分class Person { private int age = 10; public Person(){ System.out.println("年龄：" + age); ...
2020-04-15 15:13:40
135
原创 IDEA列编辑模式
在IDEA进入列编辑模式：Alt+鼠标左键（拖动选中多列）跨行进入列编辑模式：Ctrl+Alt+Shift+鼠标左键（特定列）退出编辑模式：鼠标左键单击任意位置。...
2020-04-01 15:03:20
1256
原创 Java中的数组
数组的定义一组相同的数据类型的数据的集合。在Java中，可以通过声明一个数组来代替多个重复的数据类型的变量。例如：int[] numbers = new int[5];这段代码相当于声明了五个int型的变量。可以极大的简化变量声明。需要注意的是：数组的下标是从0开始的；一旦数组被创建，其长度就不能再更改。数组的创建和初始化和普通变量一样，数组需要先声明后使用，数组的创建...
2020-03-30 15:15:46
167
原创 Java构造函数
什么是构造函数构造函数是一种特殊的方法。主要用来在创建对象时初始化对象， 即为对象成员变量赋初始值。一个类可以有多个构造函数，可根据其参数个数的不同或参数类型的不同来区分它们，即构造函数的重载。示例：public class Person { private String name; private int age; public Person(String name, int a...
2020-03-29 11:41:53
250
原创 Java中的类和对象
面向对象编程说到类和对象，就一定要先说明面向对象究竟是什么。面向过程编程在早期，人们解决问题都是将问题拆解，将一个大问题分解为若干步骤，然后逐步解决。其中最经典的例子则是：如何将大象装进冰箱？显然，将大象装进冰箱只需三步：1. 将冰箱门打开；2. 将大象装入冰箱；3. 把冰箱门关上。这也许有点滑稽，但是它也确确实实的反映出面向过程这种编程的思想：自顶向下，逐步求精。面向对象编程还是以...
2020-03-26 16:33:24
145
原创 Java中的方法
方法概述什么是方法Java方法是语句的集合，它们在一起执行一个功能。方法包含于类或对象中方法在程序中被创建，在其他地方被引用方法的优点1.使程序变得更简短而清晰。2.有利于程序维护。3.可以提高程序开发的效率。4.提高了代码的重用性。方法的命名规则第一个单词首字母小写，其余单词首字母大写方法定义[修饰符] 返回值类型 方法名(参数列表) { 方法体...
2020-03-25 10:41:12
206
原创 Java的程序控制流程——顺序、分支、循环结构
顺序结构程序从上到下逐条执行，无判断和跳转。int n = 10;System.out.println(n); // 10n = 5;System.out.println(n); // 5分支结构分支结构也被称为选择结构，它根据条件，选择性的执行某段代码。主要有if else和switch两种分支语句。int a = 10;if (a == 1) { System.out...
2020-03-23 16:07:23
353
原创 Java中的运算符
位运算符位运算符直接基于底层位处理运算，效率最高。运算符运算说明<<左移末位补0，被移除的最高位丢弃，末尾补0>>右移原高位是几补几>>>无符号右移高位补0&按位与转成二进制进行与运算，全1为1|按位或转成二进制进行或运算，有1出1^异或转换成二进制进行异或运算，相同为...
2020-03-21 15:35:38
147
原创 Java中的数据类型
Java基本数据类型变量就是申请内存来存储值。也就是说，当创建变量的时候，需要在内存中申请空间。Java语言提供了八种基本类型。六种数字类型（四个整数型，两个浮点型），一种字符类型，还有一种布尔型。数据类型最大取值范围最小取值范围所占位使用时的默认值byte2^7-1-2^780short2^15-1-2^15160int2^31-1...
2020-03-18 17:14:28
126
原创 Java使用记事本完成Hello World程序
新建txt文本文档，名字起为HelloWorld，在文档中输入以下内容。将文件后缀名改为.java打开cmd窗口，切换到文件所在目录，输入javac + 文件名。输入java + 主类名即可完成。注意：文件名和类名必须一致。...
2020-03-18 14:06:51
2460
1
原创 W10安装JDK1.8
从网上下载JDK1.8，笔者可以提供。JDK百度网盘，提取码5qw6。下载完成后右击，“以管理员身份运行”。单机下一步，选择安装位置，默认即可。不要出现出现中文路径。单机下一步，完成后继续安装Java。不要出现中文路径。到此，JDK安装成功！继续配置环境变量。右击“我的电脑->属性->高级系统设置->环境变量”，在系统变量中新建。完成后单击确定，在系统变量中找到Pa...
2020-03-17 15:37:15
326
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人