- 博客(23)
- 收藏
- 关注
原创 Caused by: java.sql.SQLException: Cannot create PoolableConnectionFactory (Access denied for user ‘r
Caused by: java.sql.SQLException: Cannot create PoolableConnectionFactory (Access denied for user 'root '@'192.168.3.16' (using password: YES))
2022-10-26 10:28:49 1653
原创 clickhouse问题总结Caused by: com.github.housepower.jdbc.ClickHouseSQLException: DB::ExceptionDB::Excepti
clickhouse
2022-03-10 16:21:02 2192
原创 Unable to instantiate SparkSession with Hive support because Hive classes ar
报错原因:没有加入 hive 的依赖org.apache.sparkspark-hive_2.11${spark.version}把以上依赖加入就可以了
2021-10-29 11:53:23 3728
原创 Exception in thread “main“ org.apache.spark.sql.AnalysisException: Table or view not found: user; li
出现次错误的原因是创建了全局 view,改成局部 view,去掉 Global
2021-10-28 15:34:21 1641
原创 # 欢迎使用Markdown编辑器
Exception in thread “main” org.apache.spark.sql.AnalysisException: Table or view not found: user; line 1 pos 14;'Project ± 'UnresolvedRelation [user]@TOC欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知
2021-10-28 15:30:57 64
原创 union与union all区别
union不去重,union all 去重开窗函数在最后lead函数往第几行,拿到当行时间戳:10位代表秒group by只能查询三种数据:group by 后面跟的,常量,聚合函数
2020-10-20 14:56:39 223
原创 mkdir: Call From hadoop102/192.168.6.102 to hadoop102:8020 failed on connection exception: java.net.
mkdir: Call From hadoop102/192.168.6.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused少走弯路之出现这个BUG是不是你的hdfs没有启起来。。。。。。。这个BUG很脑残,哈哈...
2020-10-08 10:32:45 4144 1
原创 DataFrame初学理解
类似于数据库的二维表(即每一列都带名称和类型)DataFrame可以从很多的数据源构建,比如:已存在的RDD,结构化文件,外部数据库,hive表
2020-09-29 19:48:08 215
原创 SparkSession初学理解
SparkSession与sc(Spark Context)类似,是SQL查询起始点,程序的入口。SparkSession内部封装了SparkContext,所以底层计算还是由SparkContext完成的,当我们使用spark-shell的时候,spark会自动创建一个叫spark的sparkSession,就像我们也可以自动获取一个sc来表示sparkContext一样。...
2020-09-29 18:58:59 380
原创 as select根据查询结果创建表,查询的结果会添加到新创建的表中
根据查询结果创建表(查询的结果会添加到新创建的表中)create table if not exists student3as select id, name from student;
2020-08-19 19:20:05 791 2
原创 insert into与insert overwrite
insert into:以追加数据的方式插入到表或分区,原有数据不会删除insert overwrite:会覆盖表中已存在的数据
2020-08-19 19:04:46 1117
原创 subString()方法的使用
substring()方法做了什么?substring(beginIndex,endIndex)方法返回一个从beginIndex到endIndex-1的字符串String x = “abcdef”;x = x.substring(1,3);System.out.println(x);输出:“bc”
2020-08-13 16:57:35 462
原创 分区之按照手机号分区
当需要将统计结果输出到不同的文件中就需要自定义分区并且设置://8 指定自定义分区器job.setPartitionerClass(ProvincePartitioner.class); //9 同时指定相应数量的ReduceTask job.setNumReduceTasks(5);默认分区器HashPartitioner,自定义一个分区类ProvincePartitioner并且让这个类继承Partitioner,还要实现getPartition()方法public int g
2020-08-13 16:56:52 361
原创 CombineTextInputFormat
CombineTextInputFormat用于小文件过多的场景,它可以将多个小文件从逻辑上规划到一个切片中,这样,多个小文件就可以交给一个MapTask处理。2)实现过程(1)不做任何处理,运行1.6节的WordCount案例程序,观察切片个数为4。(2)在WordcountDriver中增加如下代码,运行程序,并观察运行的切片个数为3。(a)驱动类中添加代码如下:// 如果不设置InputFormat,它默认用的是TextInputFormat.classjob.setInputFormat
2020-08-13 12:20:13 407
原创 mr向集群提交mr任务的两种方式
方式一:把IDEA中写好的程序打jar包然后托入集群中执行如下命令运行:Hadoop jar wc.jar 全类名 /输入路径 /输出路径hadoop jar wc.jarcom.atguigu.wordcount.WordCountDriver /user/atguigu/input /user/atguigu/output方式二:在Windows上向集群提交任务(1)需要在WordCountDriver添加一些配置信息设置hdfs NameNode的地址:conf.set(“fs.def
2020-08-12 19:04:52 1976 2
原创 创建TableBean目的实现序列化
自定义bean对象实现序列化接口(Writable)public class TableBean implements Writable {private String id; //订单idprivate String pid; //产品idprivate int amount; //产品数量private String pname; //产品名称private String flag; //判断是order表还是pd表的标志字段...
2020-08-12 16:36:04 227
原创 Nullwritable
NullWritable是Writable的一个特殊类,实现方法为空实现,不从数据流中读数据,也不写入数据,只充当占位符,如在MapReduce中,如果你不需要使用键或值,你就可以将键或值声明为NullWritable,NullWritable是一个不可变的单实例类型。比如,我设置map的输出为<key,空>不能使用new NullWritable()来定义,获取空值只能NullWritable.get()来获取...
2020-08-11 20:03:41 1958
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人