weixin_46117281的博客

原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

[08S01][1] Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=anonymous, acces

原创 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

21-01-2022 20:27:56 CST dmJob INFO - FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask21-01-2022 20:27:56 CST dmJob INFO - Process with id 62758 completed unsuccessfully in 136 seconds.21-01-2022 20:27:56 CST d

原创 spark.sql读取Hive数据报错

将hive -> conf -> hive-site.xml 文件 复制到 spark -> conf 文件夹下mysql-connector-java-5.1.25.jar 复制到 spark -> jar文件夹下

原创 Spark数据分析及处理_ELT

使用Spark完成下列日志分析项目需求： 日志数据清洗 用户留存分析 活跃用户分析import org.apache.commons.lang.StringUtilsimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.types.{StringType, StructField, StructType}import org.apache.spark.sql._

原创 Spark_UDTF

import java.utilimport org.apache.hadoop.hive.ql.udf.generic.GenericUDTFimport org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactoryimport org.apache.hadoop.hive.serde2.objectinspector.{ObjectInspector, ObjectInspector

原创 Spark_UDAF

import org.apache.spark.SparkContextimport org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types._import org.apache.spark.sql.{DataFrame, Row, SparkSession}/** * 自定义函数： * UDF：Use

原创 Spark_UDF

import org.apache.spark.SparkContextimport org.apache.spark.sql.expressions.UserDefinedFunctionimport org.apache.spark.sql.{DataFrame, SparkSession}/** * 自定义函数： * UDF：User- Defined Funcation；用户定义（普通）函数，只对单行数值产生作用； 一进一出 * UDAF：User- Defined Aggreg

原创 Spark高级操作之json复杂和嵌套数据结构的操作二

原数据：1593136280858|{“cm”:{“ln”:"-55.0",“sv”:“V2.9.6”,“os”:“8.0.4”,“g”:“C6816QZ0@gmail.com”,“mid”:“489”,“nw”:“3G”,“l”:“es”,“vc”:“4”,“hw”:“640960",“ar”:“MX”,“uid”:“489”,“t”:“1593123253541”,“la”:“5.2”,“md”:“sumsung-18”,“vn”:“1.3.4”,“ba”:“Sumsung”,“sr”:“I”},“a

转载 Spark高级操作之json复杂和嵌套数据结构的操作

import org.apache.spark.SparkContextimport org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}object a { //样例类 // define a case class case class DeviceData (id:Int,device:String) def main(args: Array[String]): Unit = { val sparkSess

原创 Spark_Sql50题（DataFrame）

表名和字段信息课程表:Coursec_id：课程编号c_name：课程名称t_id：教师编号学生表:Students_id：学号s_name：姓名s_birth：出生日期s_sex：性别教师表:Teachert_id：教师编号t_name：教师姓名成绩表:Scores_id：学生编号c_id：课程编号s_score：分数建表语句：CREATE DATABASE sql50;use sql50;DROP TABLE IF EXISTS `Course`;C

原创 error：Name node is in safe mode.

错误信息：Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp/hive/root/95786795-b274-4709-9836-5b549e5cb075. Name node is in safe

原创 hive报错：hive create table: Specified key was too long； max key length is 767 bytes

create table tableName (name string);报错Specified key was too long; max key length is 767 bytes 长度的问题。hive> create table t1 ( name string ) ;Moved: ‘hdfs://cxzdy:9000/user/hive/warehouse/t1’ to trash at: hdfs://cxzdy:9000/user/root/.Trash/CurrentMov

原创 远程连接：hive 报错：Permission denied: user=anonymous, access=EXECUTE

远程连接hivePermission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwxrwx—解决办法：报错内容提示hive没有/tmp目录的权限，赋予权限即可：（注意：该tmp目录为hdfs的目录，不是Linux系统的目录）[root@linux01 ~]# hdfs dfs -chmod 777 /tmp...

原创 Linux中变量 #, @, 0, 1, 2, *,$$,$?的含义

$# 是传给脚本的参数个数$0 是脚本本身的名字$1 是传递给该shell脚本的第一个参数$2 是传递给该shell脚本的第二个参数$@ 是传给脚本的所有参数的列表$* 是以一个单字符串显示所有向脚本传递的参数，与位置变量不同，参数可超过9个$$ 是脚本运行的当前进程ID号$? 是显示最后命令的退出状态，0表示没有错误，其他表示有错误...

原创 Linux：rsync error: remote command not found (code 127) at io.c(226) [sender=3.1.2

rsync同步数据报错：问题描述：bash: rsync: command not foundrsync: connection unexpectedly closed (0 bytes received so far) [sender]rsync error: remote command not found (code 127) at io.c(226) [sender=3.1.2]原因：之所以会出现这个问题是因为，不仅同步的机器需要安装rsync，而且在被同步的机器上也需要安装rsync。

原创 tree 命令安装

一、用yum安装tree命令yum install -y tree二、下载包安装下载安装包yum install -y wgetwget http://mama.indstate.edu/users/ice/tree/src/tree-1.8.0.tgztar -zxvf tree-1.8.0.tgz -C /opt/softcd tree-1.8.0/yum install -y makemake install测试使用，命令：treemake: gcc：命令未找到 make: **

原创 IDEA部署Tomcat

原创 java中String类常用方法，查找特定字符出现的次数

/* 输入一个字符串，再输入要查找的字符，判断该字符在该字符串中出现的次数*/import java.util.Scanner;public class Test01 { public static void main(String[] args) { fun(); } public static void fun(){ Scanner input = new Scanner(System.in); System.out.p

原创 java中String类常用方法，判断 Java 文件名是否正确，判断邮箱格式是否正确

/** * 判断Java文件名是否正确，判断邮箱格式是否正确。 * 其中：合法的文件名应该以.java结尾 * 合法的邮箱名中至少要包含 “@” , 并要求 “@” 在 “.” 之前。“@”符号不在首位和末尾，字符串不含有空格 */import java.util.Scanner;public class Test01 { public static void main(String[] args) { fun(); } public static

原创 20210819_Test

//使用集合类生成10个随机字符串，要求10个字符每个都不同，而且顺序不可是字符顺序import java.util.*;public class Test { public static void main(String[] args) { Set<String> set = new HashSet<>(); Set<Character> chSet = new HashSet<>(); R.

原创 MapTest02

/* Map集合的遍历 重点*/import java.util.HashMap;import java.util.Iterator;import java.util.Map;import java.util.Set;public class MapTest02 { public static void main(String[] args) { //第一种方式：获取所有的Key,通过遍历Key,来遍历value Map<Integer

原创 MapTest01

package cn.Set_20210818;import java.util.Collection;import java.util.HashMap;import java.util.Map;public class MapTest01{ public static void main(String[] args) { //创建map集合对象 Map<Integer,String> map = new HashMap<>();

原创 斗地主游戏

package cn.Set_20210818.HomeWork_20210818;/*斗地主游戏规则如下:1.有三名玩家，可从控制台赋值玩家姓名，玩家中会有牌类集合的属性，还有是否是地主的状态2.牌类有两个属性:花色和点数。花色有4种:黑红梅方（可用枚举）点数对应有13加上两张王牌（可用枚举）。3.扑克牌管理类:用于产生54张随即顺序的牌堆（牌类集合，54张牌不变，变得是顺序），给玩家发牌，并随机产生地主，把剩余3张底牌给地主，并展示三位玩家的手牌。 */import java.util.

原创 排序 -＞ 冒泡排序

public class BubbleSort { public static void main(String[] args) { int []a = {5,6,8,7,10,3,4,9,2,11}; sort(a); print(a); } public static void sort(int []a){ for (int i = 0; i < a.length-1; i++) {

原创 排序 -＞ 选择排序

public class SelectSort { public static void main(String[] args) { int[] a = {9,5,1,4,3,8,2,7,6}; sort(a); print(a); } static void sort(int[] a){ for (int i=0; i<a.length; i++){ //第一个元素开始 int mi

原创 排序 -＞ 插入排序

public class InsertionSort { public static void main(String[] args) { int []a = {5,6,8,7,10,3,4,9,2,11}; sort(a); print(a); } static void sort(int[] a){ for (int i = 1; i<a.length; i++){ //数组第几个元素

原创 排序 -＞ 快速排序

public class QuickSort { static int[] arr = new int[]{1, 5, 6, 2, 9, 10, 15, 4, 3}; public static void main(String[] args) { quick(arr,0,arr.length-1); //left:0 right:数组长度-1 for (int i : arr){ System.out.println(i);

原创 If语句练习

//第一题：使用条件结构从键盘输入一个月份，打印输出对应的季节（春、夏、秋、冬）import java.util.Scanner;public class If01 { public static void main(String[] args) { System.out.println("请输入一个月份："); Scanner input = new Scanner(System.in); int month = input.nextInt

原创 Switch练习

// 提示用户输入年月日信息，判断这一天是这一年中的第几天并打印。import java.util.Scanner;public class SwichTest01 { public static void main(String[] args) { System.out.println("请输入年月日信息："); Scanner input = new Scanner(System.in); int years = input.nextIn

原创 For循环练习

1.猴子吃桃问题： 猴子第一天摘下若干个桃子，当即吃了一半，还不过瘾，又多吃了一个，第二天早上又将剩下的桃子吃了一半，又多吃一个，以后每天都吃了前一天剩下的一半零一个。到第10天早上想再吃时，见只剩下一个桃子。求第一天共摘了多少个？public class Test06 { public static void main(String[] args) { int num = 1; for (int days = 10; days >= 1; days--)

原创 Dos常用命令

一、打开CMD方式1.Windows+R输入cmd打开控制台2.“开始” -> “运行” -> 输入"cmd" 回车3.资源管理器的地址栏路径前面加上 cmd二、常用命令1.help ：查看所有命令帮助help *** ：查看具体哪一个help dirhelp cls2.ping：主要用来诊断网络连接ping www.baidu.com3.dir：directory目录的缩写，查看当前目录下所有文件例如dir d: 查看d盘的未隐藏文件（ps:参数d的大小写

原创 JDK的下载、安装和配置

JDK的下载、安装和配置一、JDK的下载二、JDK的安装三、 JDK的配置验证一、JDK的下载jdk下载地址：https://www.oracle.com/downloads/安装视频：https://www.bilibili.com/video/BV1zv411z7z9?t=6看到Developer Downloads ，点击 java点击 Java (JDK) for Developers点击 JDK Downloads ，往下拉，点击 JDK Downloads ，往