spark
spark记录
Lenskit
创业公司、B2B行业
展开
-
sparksql建表时java.sql.BatchUpdateException: Duplicate entry ‘‘ for key ‘PRIMARY‘
此报错大概率是因为列名有问题(中文列名或列名过长)When creating a table in Hive with column names over 128 characters an error like below is raised. Note: "COLUMNS_V2" is a Hive metadata table.具体链接:https://support.oracle.com/knowledge/Oracle%20Database%20Products/2255940_1.ht.原创 2020-07-17 14:49:22 · 8683 阅读 · 0 评论 -
Spark入门
本篇是介绍Spark的入门系列文章,希望能帮你初窥Spark的大门。一、 Spark概述1 首先回答什么是Spark?Spark是一种基于内存的快速,通用,可扩展的大数据计算引擎。那有的同学可能会问,大数据计算引擎,MapReduce不就是吗?为什么又来个Spark?其中最大的原因还是MapReduce自身的短板导致:1. 基本运算规则从存储介质中采集数据,然后进行计算,最...原创 2019-11-02 16:03:35 · 561 阅读 · 1 评论