- 博客(7)
- 收藏
- 关注
RSS订阅原创 运行Spark任务时解决WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set
2) 修改/opt/installs/spark/conf/spark-defaults.conf文件 spark.yarn.jars=hdfs://hadoop10:8020/spark-yarn/jars/*.jar。3）在spark-default.conf中设置 spark.yarn.archive=hdfs://hadoop10:8020/system/SparkJars/jar/spark-libs.jar。该方法同时可以对Spark任务进行调优。下面配置解决上述警告。
2024-07-17 12:19:49
243
原创 hive启动报错
原因：同一个ip在短时间内产生太多（超过mysql数据库max_connection_errors的最大值）中断的数据库连接而导致的阻塞 （短时间内链接错误次数过多）登录数据库所在虚拟机并登录数据库 执行 flush hosts 命令，然后重启hive。
2024-06-27 10:00:31
122
原创 sqoop批量将mysql数据库中的表导入hive中 遇到的问题（已解决）
cdh版sqoop对“0000-00-00”类型的时间数据明显采取的是默认exception策略，而Apache sqoop官网明确表明将会把0000-00-00的date值默认转成null。原因是数据中的含有日期列，在查询中数据库中有错误时间格式的数据，数据值为 0000-00-00 00:00:00。该脚本是循环读取bm.txt文本中的MySQL数据库中对应的表名，在hive中创建对应的ods_对应表名的文件。注意参数大小写和加入该参数后可能会识别不到，需要给url使用双引号包裹！
2024-06-23 17:38:41
141
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人