- 博客(26)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Spark的文件读取路径
在不同的启动模式下，加载文件时的路径写法是不一样的对于local模式下，默认就是读取本地文件而在standlone或者yarn-client,或者cluster模式下，默认读的都是hdfs文件系统，这几种模式下很难读取本地文件（这是很显然的事情，但你可以通过指定节点的文件服务曲线救国）。下面的代码在local模式下有效，在其它模式下无效：var theP1 = sc.textFile("file:///usr/test/people.json") //读取本地var theP2 = sc.te
2021-11-16 21:32:40
2413
原创 报错HiveException: MetaException( Permission denied:user=xxx,access=WRITE,inode=xxx)
今天编写代码的时候遇见了一个报错显示没有权限从集群上读取数据Permission denied:user=xxx,access=WRITE,inode=xxx问题解析如果hadoop没有启Kerberos或者从Kerberos获取的用户为null，那么将获取HADOOP_USER_NAME环境变量，并将它的值作为Hadoop执行用户。如果我们没有设置HADOOP_USER_NAME环境变量，那么程序将调用whoami来获取当前用户，并用groups来获取用户所在组。解决思路：配置window下
2021-11-16 18:01:01
5166
1
原创 WIN10下开发报错：Could not locate executable null\bin\winutils.exe in the Hadoop 详细解决方法
1.问题出现仔细观看是没找到winutils.exe2.问题解决第一种方法，我们找到源码292行，他是先从System.getProperty("hadoop.home.dir");这里获得信息，从他的注释信息看// first check the Dflag hadoop.home.dir with JVM scope首先检查的应该是java虚拟机里面的这个hadoop.home.dir，那我们就可以直接在程序开始执行出手动添加System.setProperty("hadoop.h
2021-11-05 17:42:15
701
原创 切片split()方法中的特殊符号处理
关于点"."的问题是用string.split(“[.]”)解决。关于竖线"|"的问题用string.split(“\\|”)解决。关于星号"*"的问题用 string.split(“\\*”)解决。关于斜线"\"的问题用sring.split(“\\\\”)解决。关于"[]"的问题用sring.split("\\[\\]")解决...
2021-11-01 10:27:37
251
原创 五分钟精通正则表达式，如果没精通，那就再加两分钟
五分钟搞定正则表达式，如果没搞定，那就再加两分钟一、正则表达式介绍正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。正则表达式通常被用来检索、替换那些符合某个模式(规则)的文本。不用过多介绍，大家对正则表达式应该不太陌生。即使没有用过，也一定听说过。我们先看几个常见的正则表达式：匹配 IP 地址((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5
2021-10-30 16:38:59
231
1
原创 Typora+PicGo+Gitee搭建博客图床
Typora+PicGo+Gitee实现图片自动上传床图文章目录Typora+PicGo+Gitee实现图片自动上传床图**1、安装Typora**2、安装PicGo3、安装Node.js**4、PicGo下载Gitee插件**5.Gitee设置6.配置PicGO7. 查看日志8. 测试上传9.Tyspora快捷方式10. 删除1、安装Typora1、在官网https://www.typora.io/可以下载Typora的安装包程序，附上快速通道，直接点击下载官方安装包-直接点击下载x64即可2、双
2021-10-25 20:20:21
173
原创 2021-10-24
Scala笔记循环守卫1）基本语法for(i <- 1 to 3 if i != 2) {print(i + " ")}println()说明：（1）循环守卫，即循环保护式（也称条件判断式，守卫）。保护式为true则进入循环体内部，为false则跳过，类似于continue。（2）上面的代码等价for (i <- 1 to 3){if (i != 2) {print(i + " ") }}循环步长1）基本语法for (i <- 1 to 10 by 2
2021-10-24 21:02:10
87
原创 Flink
Flink流处理批处理socket实时处理详细讲解及从Kafka读取数据实操文章目录Flink流处理批处理socket实时处理详细讲解及从Kafka读取数据实操Maven文件开启WebUI代码详解流选择添加源流处理批处理Scoket模式开启Scoket服务方式1：Java代码开启UDP方式2：windows上部署netcat方式3：Scala方式开启ScoketScala版本代码Java版本代码读取Kafka消息队列的数据作为来源处理方式分为流式处理(离线)批处理(离线)Scoket(使用流处理
2021-10-24 12:15:59
175
1
原创 Spark集群启动与关闭
Hadoop集群和Spark的启动与关闭Hadoop集群开启三台虚拟机均启动ZookeeperzkServer.sh startMaster1上面执行 启动HDFSstart-dfs.shslave1上面执行 开启YARNstart-yarn.shslave2上面执行 开启YARN的资源管理器yarn-daemon.sh start resourcemanager (如果nodeManager没有启动(正常情况下 start-yarn.sh 就会启动)，手动启动)yarn
2021-10-13 20:29:47
8638
原创 HIVE 常用函数总结
HIVE 常用函数总结hive 函数比较多，之前总是随用随查，今天把常用的函数总结一下，以后方便查阅。本文主要涉及以下几个大面：1、Hive函数介绍以及内置函数查看内容较多，见《Hive官方文档》https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1）查看系统自带的函数hive> show functions;2）显示自带的函数的用法hive> desc function upper;3）
2021-10-07 12:11:40
2459
1
原创 MapReduce 读取MySQL数据到文件
MapReduce 对mysql进行操作了解实现方式1.创建方法类实现DBWritable,Writable接口DBWritable接口中实现两个方法//DBWritable主要是实现对数据库读写操作 所以输出格式是PreparedStatement//PreparedStatement接口继承并扩展了Statement接口，用来执行动态的SQL语句，即包含参数的public void write(PreparedStatement stmt ) thorws SQLException{
2021-10-06 15:51:41
216
原创 java.net.URISyntaxException: Relative path in absolute URI: file:**/spark-warehouse
最近学习Spark，尝试连接数据库的时候一个例子一直报一个错，说是Spark-warehouse路径有问题（都不知道Spark-warehouse这玩意儿是啥）一开始main下的代码是这样的val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("readFrom_toMySQL") val sc: SparkContext = new SparkContext(sparkConf)报错java.
2021-10-05 22:11:13
563
原创 spark org.apache.xmlbeans.XmlOptions.setEntityExpansionLimit(I)Lorg/apache/xmlbeans/XmlOptions报错
原因因为在spark中使用poi包 没有导入3.0以上的xmlbeans包 因为版本问题3.0以下的不支持解决方法：导入maven <dependency> <groupId>org.apache.xmlbeans</groupId> <artifactId>xmlbeans</artifactId> <version>3.1.0</version>
2021-09-26 21:47:02
2282
原创 利用Spark代码从Excel文件中读取多个数据表数据（使用Session读取）
利用spark代码从excel文件中读取数据1.需要添加poi的pom文件 <!-- 读取excel xlsx--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.17</version> </dependency>
2021-09-26 21:44:55
962
4
原创 Seq没有toDF方法 import spark.implicits._报错
给出错误的代码var sc: SparkSession =SparkSession.builder() .appName("Test") .config("spark.sql.warehouse.dir","file:///") .getOrCreate() import spark.implicits._//这里spark出现了爆红
2021-09-26 21:26:04
783
转载 给Java新手的一些建议——Java知识点归纳(Java基础部分)
这次介绍的主要内容是和J2SE相关的部分，另外，会在以后再介绍些J2EE相关的、和Java中各个框架相关的内容。 经过这么多年的Java开发，以及结合平时面试Java开发者的一些经验，我觉得对于J2SE方面主要就是要掌握以下的一些内容。1. JVM相关(包括了各个版本的特性)对于刚刚接触Java的人来说，JVM相关的知识不一定需要理解很深，对此里面的概念有一些简单的了解即可。不过对于一个有着3年以上Java经验的资深开发者来说，不会JVM几乎是不可接受的。 JVM作为java运行的基础，很难相.
2021-04-14 10:20:22
113
原创 resultType和paramType区别
resultType是sql语句查询结果集的封装类型，也就是说把sql查询的结果封装在bean里返回回去，是存数据用的。 paramType是从传过来的Bean中取数据放进例如insert语句的values中当实参用，是取数据用的
2021-03-31 14:50:08
463
原创 Mysql 学习笔记
Mysql1.思维导图没写完 待补充2.基础操作开关数据库win:net start mysql //开启net stop mysql //关闭linux:service mysql status //开启service mysql status //判断是否启动service mysql stop //关闭常用SQL语句创建数据库Create databse database_name charset=utf8;选择数据库use database_name;
2021-03-30 08:54:22
127
2
原创 Could not set parameters for mapping: ParameterMapping{property=‘s_id‘, mode=IN, javaType=class
Could not set parameters for mapping: ParameterMapping{property=‘id’, mode=IN, javaType=class java.lang.Object, jdbcType=null, numericScale=null, resultMapId=‘null’, jdbcTypeName=‘null’, expression=‘null’}. Cause: org.apache.ibatis.type.TypeException: Erro
2021-03-12 11:19:28
2359
4
原创 junit单元测试报错ava.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing
Junit单元测试报错新建了一个项目 为了方便直接从之前的项目中拿了一个jar包,项目导入junit-4.12.jar包后 运行然后报错：java.lang.NoClassDefFoundError: org/hamcrest/SelfDescribing详解junit和hamcrest是两个不同的框架，不同的东西。只不过是junit使用了hamcrest框架而已,junit 4.11以上版本不包含hamcrest,要是想继续使用需要降低版本或者导入hamcrest包…解决方案1.降低版本2
2021-03-06 19:53:04
212
1
原创 Windows10最常用的软件推荐V1.7
常用软件列表这里是自己日常生活中整理的一些常用软件 欢迎补充前言说明：提到的资源来自互联网，本文章不提供修改版工具下载。网页浏览器：Edge浏览器（新版本Win10自带浏览器，IE浏览器的升级版，绝大部分软件/环境优先支持浏览器（仅限国内） 世界三大浏览器之一）FireFox火狐浏览器(火狐浏览器，世界三大浏览器之一）Chrome浏览器(谷歌浏览器，世界三大浏览器之一,程序员开发必备浏览器）防护类软件：火绒安全防护中心(火绒作为国内基本上最良心安全类软件大概是没异议了）国
2021-03-02 14:01:47
632
原创 Java环境变量配置及NetBeans安装
Java环境变量详细配置及NetBeans安装配置过程1.首先我们需要下载java开发工具包JDK，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html，选择合适的版本号64位的操作系统就选64位的，进行下载。2.配置环境变量找到安装根目录，默认目录为:C:\Program Files\Java\jdk1.8.0_201(不同版本的文件夹名称不相同)在jdk1.8.0_201下面的bin目录复制地址，如：C:
2020-06-16 11:06:53
5460
4
原创 利用MapReduce实现自定义排序
利用MapReduce实现自定义排序1.第一种实现的方式是：将数据封装到list中，使用集合的排序方法实现排序在cleanup方法中加入代码实现排序；所以这里只适合把所有的数据都放在一个pojo中；2.第二种是将pojo类作为key从Mapper传递到Reducer，然后值作为key，然后遍历进行传递。3.共同点：两种方式都要实现WritableComparable接口，重写compareTo()方法，然后指定两个int类型的数据相减，或者也可以指定多字段进行排序1.Pojo类（用来实现排序的，
2020-06-16 10:05:58
1241
原创 C语言实训任务之学生成绩管理系统
C语言实训任务之学生成绩管理系统学生成绩管理系统实训的一个小项目，设计一个成绩管理系统可以输入学生的C语言成绩，数学成绩，英语成绩，修改成绩按照各科进行排名，查询，统计，存储为文件到电脑上下面是程序部分截图主界面：统计查询程序代码:#include <stdio.h> #include <stdlib.h>#include <strin...
2020-03-14 19:55:47
2124
原创 MySQL新版登录报错：Access denied for user 'root'@'localhost' (using password:YES)解决方法
MySQL新版登录报错：Access denied for user ‘root’@‘localhost’ (using password:YES)解决方法：1.新建一个文本文件，里面写上改密码的mysql指令：(假定我们把密码设置为123456)里面的内容为：ALTER USER “root"@“localhost” IDENTIFIED BY “123456”;文件名随便机，我们记作...
2020-02-12 16:05:26
420
Flume总结 全.pdf
2023-01-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人