- 博客(20)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
标题Spark Mavem项目在本地测试报错 : Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConfException in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf at...
2019-08-04 10:33:01
13214
6
原创 Hbase面试题
Hbase面试题Hbase架构Hbase的NULL占用空间吗? B (Hbase是基于列的 , 所以是不占用空间的)A . 占用B . 不占下面对 HBase 的描述哪些是正确的?（ ）HBase 依赖（）提供消息通信机制?Hbase 的持久化数据是存放在 HDFS 上的,并由 zookeeper 协助进行集群管理,这一说法是（）...
2019-08-23 15:29:22
1041
原创 JAVA - 集合 - 面试题
JAVA - 集合 - 面试题Java集合体系结构（List、Set、Collection、Map的区别和联系）1、Collection 接口存储一组不唯一，无序的对象2、List 接口存储一组不唯一，有序（插入顺序）的对象3、Set 接口存储一组唯一，无序的对象4、Map接口存储一组键值对象，提供key到value的映射。Key无序，唯一。value不要求有序，允许重复。（如果只...
2019-08-19 22:55:44
296
原创 JAVA - 基础 - 面试题
JAVA - 基础 - 面试题Java三种注释类型单行注释 //多行注释 /* … /文档注释 /* … **/8种基本数据类型及其字节数i++和++i的异同之处共同点：1、i++和++i都是变量自增1，都等价于i=i+12、如果i++,++i是一条单独的语句，两者没有任何区别3、i++和++i的使用仅仅针对变量。 5++和++5会报错，因为...
2019-08-19 22:44:30
113
原创 hive面试题
hive面试题多选题：关于 Hive 内部表和外部表的说法,正确的是（）hive介绍hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 sql 查询功能，可以将 sql 语句转换为 MapReduce 任务进行运行。其优点是学习成本低，可以通过类 SQL 语句快速实现简单的 MapReduce 统计，不必开发专 门的 Ma...
2019-08-19 21:08:43
1189
原创 搭建Zookeeper本地模式and分布式模式
搭建Zookeeper本地模式and分布式模式下载zookeeperhttps://zookeeper.apache.org/Zookeeper安装 - 本地模式准备工作（1）安装Jdk（2）拷贝Zookeeper安装包到Linux系统下（3）解压到指定目录tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/配置修改（1）将/opt/zook...
2019-08-11 10:27:08
95
原创 基于CentOS搭建Kafka
基于CentOS搭建Kafka下载kafka包http://kafka.apache.org/downloads.html3.4.5.6.
2019-08-09 17:06:19
167
原创 date_add date_sub datediff
date_add date_sub date_diff建表语句create table t( dt string)插入数据insert into t values ("2013-03-21"),("2013-03-22"),("2013-03-23"),("2013-03-24"),("2013-03-25");测试date_addselect date_add(dt,2) ...
2019-08-07 10:53:09
423
原创 regexp_replace
regexp_replace正则替换建表语句create table t( dt string)插入数据insert into t values ("2013-03-21"),("2013-03-22"),("2013-03-23"),("2013-03-24"),("2013-03-25");测试select regexp_replace(dt,"-","") from t;...
2019-08-07 10:38:37
540
原创 Idea对Spark程序调试
Idea对Spark程序本地调试var conf = new SparkConf().setAppName("WordCount").setMaster("local")var sc = new SparkContext(conf).........sc.stop()设置成local即可进行本地调试Idea对Spark程序集群调试var conf = new SparkConf...
2019-08-06 20:44:14
317
原创 ROW_NUMBER() OVER
ROW_NUMBER() OVER使用语法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN)作用: 从1开始，为按组排序的每条记录添加一个序列号 函数只能用于select和order by子句中 不能用在where子句验证测试 不分组排序建表create table test ( num int comment '字段...
2019-08-06 17:03:18
210
原创 COALESCE
COALESCE 表达式是 CASE 表达式的语法快捷方式。 即查询优化器将代码COALESCE(expression1,…n) 重写为以下 CASE 表达式：SQL:CASE WHEN (expression1 IS NOT NULL) THEN expression1 WHEN (expression2 IS NOT NULL) THEN expression2 ... E...
2019-08-06 14:41:55
412
原创 hive执行Hql方式
CLI方式通过hive或者beeline方式进入shell命令hive -e “sql” 不会进入交互模式,执行完hive进程直接退出hive -e "use testdb;select * from person"注: 加上 -S 可以不输出mapreduce的日志**hive -f “文件路径.sql” **.sql后缀只为了清晰标明文件类型 , 不是必须的drop t...
2019-08-05 22:57:19
1152
原创 基于CentOS搭建spark集群
基于CentOS搭建spark集群请先安装hadoopspark安装地址1．官网地址http://spark.apache.org/2．文档查看地址https://spark.apache.org/docs/2.1.1/3．下载地址https://spark.apache.org/downloads.htmlStandalone模式安装1)上传并解压spark安装包...
2019-08-04 22:25:30
367
原创 提交一个Spark WordCount到集群运行
Spark WordCountimport org.apache.spark.{SparkConf, SparkContext}object Test { def main(args: Array[String]): Unit = { var conf = new SparkConf().setAppName("WordCount").setMaster("local")...
2019-08-03 15:35:51
648
1
原创 Idea+Maven创建Scala项目
标题Idea+Maven创建Scala项目请先行安装Mavenhttps://blog.csdn.net/weixin_43125677/article/details/98191003创建一个Maven项目添加对应的版本依赖到pom.xml中创建Scala class创建scala , 蓝色添加对应的scala测试...
2019-08-03 14:26:29
183
原创 Idea编写Spark运行报错(spark scala版本不一致)
Idea编写Spark运行报错报错信息Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less$colon$less;at org.apache.spark.util.Utils$.getSystemProperties(Utils.scala:...
2019-08-03 12:39:29
2050
原创 Idea安装新的Maven
Idea安装新的Maven开始下载maven包 ，https://maven.apache.org/download.cgi解压 (不要解压到有中文的目录中)配置setting.xml内容本地maven仓库路径(setting.xml)配置阿里源 (setting.xml) alimaven central aliyun maven http://maven...
2019-08-02 12:47:33
190
T_REAL_PRODUCTION_CHECKDETAIL.kjb
2020-01-15
kettle - JOB循环 , 用于kettle失败后重试 !
2020-01-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人