![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 58
jzy3711
Committed to solving actual problems, not Baidu can do it at a glance. When solving the problem, it will analyze the cause of the problem and intersperse some source-level things.
展开
-
原生spark-sql连接原生hive问题
报错22/02/22 10:24:20 INFO Client: Application report for application_1642757441712_0012 (state: FAILED)22/02/22 10:24:20 INFO Client: client token: N/A diagnostics: Application application_1642757441712_0012 failed 2 times due to AM Cont原创 2022-02-22 11:19:27 · 1652 阅读 · 0 评论 -
pyspark TypeError: ‘JavaPackage‘ object is not callable
pyspark 初始化报错问题Python 3.7.10 (default, Jun 4 2021, 14:48:32)[GCC 7.5.0] :: Anaconda, Inc. on linuxType "help", "copyright", "credits" or "license" for more information.Warning: Ignoring non-spark config property: history.server.spnego.keytab.file=/et原创 2021-12-29 18:04:37 · 5728 阅读 · 0 评论 -
使用keepalived 做Carbon Thrift Server HA
Carbon Thrift Server HACarbon Thrift Server先决条件启动keepalived安装编辑check_carbon.shkeepalived.conf配置主节点backup节点测试Carbon Thrift Server先决条件大数据集群环境spark 2.4.5carbondata2.0.1可参考HDP2.6.5更换spark版本为2.4.5 与carbondata2.0.1集成启动分别在两台机器上启动spark-submit --maste原创 2020-07-03 18:09:21 · 277724 阅读 · 0 评论 -
Spark on Hive:入门
Spark on Hive:入门版本兼容性 spark安装 配置YARN 配置Hive 配置属性详细信息 配置Spark 调整细节 常见问题(绿色已解决,将从此列表中删除) 推荐配置 设计文件 Hive on Spark为Hive提供了利用Apache Spark作为其执行引擎的能力。<span style="color:#172b4d">设置...翻译 2019-01-08 15:06:40 · 618 阅读 · 0 评论 -
本地IDEA中使用Spark SQL 连接服务器Hive
1. 复制hive-site.xml将Spark-Home/conf目录下的hive-site.xml复制到IDEA工程的resource目录下2. 修改入口Spark 2.x版本将SparkContext和HiveContext整合起来,统一使用SparkSession作为连接入口。所以建立连接需要使用如下代码val conf = new SparkConf()conf.setAp...原创 2019-02-19 16:46:43 · 285583 阅读 · 0 评论