spark
cuichunchi
java开发 后期 转向了大数据开发 有小伙伴想转大数据可以咨询我哟
展开
-
spark sql 多个where条件导致任务失败
spark sql 单条查询 select * from aa where`逾期总金额` is not null or `累计逾期次数` is not null or `卡系统放款日期` is not null or `机构名` is not null or `账户状态` is not null or `透支息` is not null or `R系统流水号` is not null or `分期余额` is not null or `R系统产品码` is not null or `所属地区` is..原创 2021-03-09 20:47:00 · 839 阅读 · 2 评论 -
spark sql的dataframe的动态传列名
第一:针对sparksql 的dataframe的动态自定义列名的解决方案 正常写法: 因为 def toDF(colNames : _root_.scala.Predef.String*) : org.apache.spark.sql.DataFrame = { /* compiled code */ } 所以如果作为入参传入,则解决方式以下: 第二:调用select函数动态传入: 正常写法: 解决方案: ...原创 2021-02-22 15:06:37 · 822 阅读 · 1 评论 -
Spark连接oracle报错requirement failed: Decimal precision 1 exceeds max precision 0
Spark连接oracle报错requirement failed: Decimal precision 1 exceeds max precision 0 报错显示Decimal精度问题,spark api文档中对DecimalType的描述如下,它的最大精度是38。 解决:将oracle数据表的字段NUMBER的长度控制在1到38即可 ...原创 2020-08-06 14:35:58 · 1138 阅读 · 0 评论 -
spark 使用外部hive遇到的问题
当hive使用tez引擎作为执行器的时候,在spark使用外部hive的时候,默认是把hive-site.xml直接拷贝到spark的conf目录下 如果直接运行这抛出异常: 找不到tez的相关包,直接将hive-site.xml的tez引擎注释,或者改为mr引擎即可 ...原创 2020-07-30 15:19:00 · 353 阅读 · 0 评论 -
spark历史日志问题
启动命令报如下错误提示: 个人配置如下:spark-default.conf spark-env.sh配置如下: yarn-site.xml配置如下: 解决方式是在hdfs-site.xml中添加如下配置: 关闭权限验证,重新启动即可 sbin/stop-history-server.sh sbin/stop-history-server.sh <property> <name>dfs.permissions.原创 2020-07-30 14:07:20 · 219 阅读 · 0 评论