2020年12月_RayBreslin

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 spark 本地idea运行：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

一、问题原因spark程序，编译的打包到jar，并且上传到Linux服务器提交spark任务都是没问题的，但是，本地运行spark程序的时候报错java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701

2020-12-30 10:25:34 8796 1

原创 Hive表中load数据时，过滤首行表头

一、实现功能向Hive表中load数据的时候，一般被加载数据是不包含表头的，对于被加载数据包含表头，则需要通过以下方法变通解决。load data local inpath '/home/emp.txt' into table emp partition (dt='191212');二、解决办法1.对于之前没有建表，则直接在建表语句中添加tblproperties ('skip.header.line.count'='1');例如create table emp(no

2020-12-18 18:55:17 2293 4

Postgresql存储过程.docx

数据库存储过程：包括控制if，循环while/for/loop的实现

2019-07-29

前后端分离-资料.rar

docker部署前后端分离项目的配置文件，基本包含了所有配置需要的文本。可以解决，从网页中拷贝配置文件命令，带有特殊字符的问题，方便快速部署。

2019-07-26

IKAnalyzer2012FF_u1中文分词器

IK中分分词器，在全文检索中非常有用，尤其对于中文文档的全文检索。本压缩包打包文件可以满足使用solr建立全文检索的配置需求。

2019-04-27

hadoop的wordcount简单实例

这是一个wordcount的一个简单实例jar包，仅仅用来做测试。 map类：org.apache.hadoop.wordcount.WordCountMapReduce$WordCountMapper reduce类 org.apache.hadoop.wordcount.WordCountMapReduce$WordCountReducer

2018-12-06