大数据
文章平均质量分 71
Nice789987
这个作者很懒,什么都没留下…
展开
-
Spark&Hive互通
目录问题配置原理问题通过hive beeline进入后建的表与通过spark-sql进入建表互相不可见配置//变量位置:org.apache.hadoop.hive.metastore.conf.MetastoreConf.ConfVars#CATALOG_DEFAULT//默认值CATALOG_DEFAULT("metastore.catalog.default","metastore.catalog.default","hive", "T..原创 2021-07-24 10:39:23 · 730 阅读 · 1 评论 -
Spark读写JDBC调优
Spark读写JDBC目录总结写读调优总结参数1. 基本参数valJDBC_URL=newOption("url")valJDBC_TABLE_NAME=newOption("dbtable")valJDBC_DRIVER_CLASS=newOption("driver")2. 调优参数valJDBC_PARTITION_COLUMN=newOption("partitionColumn")valJDBC_LOWE...原创 2021-07-24 10:31:17 · 1899 阅读 · 1 评论 -
Hadoop家族环境搭建各种版本选择
System RequirementsSupported Platforms• GNU/Linuxis supported as a development and production platform for both server andclient.• SunSolaris is supported as a development and production原创 2016-04-17 18:43:45 · 1116 阅读 · 0 评论