![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
东风小丑鱼
菜鸟
展开
-
spark读写csv对空字符串的处理
写csv:spark写出到csv时,空字符串会写成 “”,例如: a,b,"",d如果想生成这样的形式: a,b,d在write时添加 option(“emptyValue”,"")读csv:spark读取csv时,对空字符串会翻译成null值,如果不想翻译成null,可以在fill()中替换成自己想要的字符,例如替换成空字符串:spark.read.csv(“path”).na.fill("")...原创 2021-02-22 17:43:03 · 1537 阅读 · 0 评论 -
spark的conf常用配置
.set(“spark.rdd.compress”, “true”) //rdd压缩.set(“spark.sql.shuffle.partitions”, “200”) //shuffle分区(sql).set(“spark.default.parallelism”, “200”) //shuffle分区.set(“spark.sql.auto.repartition”, “true”) //开启自动分区.set(“spark.executor.userClassPathFirst”, “true原创 2020-12-22 16:02:54 · 2200 阅读 · 0 评论 -
mysql更换挂载盘
mysql更换挂载盘原创 2020-11-06 17:13:01 · 274 阅读 · 0 评论 -
mysql字符集不一致导致索引失效
mysql字符集不一致导致索引失效两个表join查询,却不走连接条件的索引。当索引无问题,sql也无问题时,就可以去看看这两个表连接字段的字符集是否一致原创 2020-08-28 22:16:54 · 243 阅读 · 0 评论 -
mysql索引级别
mysql索引https://www.cnblogs.com/bigdatasafe/p/10971740.html原创 2020-08-27 21:06:50 · 205 阅读 · 0 评论 -
mysql配置 my.cnf
mysql配置 my.cnfhttps://blog.csdn.net/weixin_39530695/article/details/94453203原创 2020-08-27 18:01:56 · 54 阅读 · 0 评论 -
yarn的resourcemanager内存溢出
yarn的resourcemanager内存溢出将以下配置改小,让rm维护的已完成的application数量变少yarn.resourcemanager.max-completed-applications10000增大rm的堆内存,修改yarn-env.shJAVA_HEAP_MAX=-Xmx4000m原创 2020-08-25 20:51:53 · 398 阅读 · 0 评论 -
华为云安装mysql5.7
华为云安装mysql5.7https://my.oschina.net/zouxiangrd/blog/4305310原创 2020-08-21 16:10:39 · 115 阅读 · 0 评论 -
中缀表达式转后缀(逆波兰)表达式步骤
中缀表达式转后缀(逆波兰)表达式步骤原创 2020-08-21 16:08:03 · 74 阅读 · 0 评论 -
mysql主从配置
mysql主从配置https://www.cnblogs.com/honeylemon/p/10591899.html原创 2020-06-28 14:55:23 · 66 阅读 · 0 评论 -
免密登录不生效
免密登录不生效基本操作都会,主要是异常问题,修改.ssh文件夹权限700 修改authorized_原创 2020-12-22 16:10:18 · 157 阅读 · 0 评论 -
spark.shuffle.service.enabled配置详解
spark.shuffle.service.enabledhttps://www.jianshu.com/p/5749ad5d48e6原创 2020-05-29 10:04:17 · 1250 阅读 · 0 评论 -
hue安装
hue安装https://www.cnblogs.com/xupccc/p/9583656.html原创 2020-05-11 21:32:11 · 152 阅读 · 1 评论 -
azkaban安装 3.x
azkaban安装 3.xhttps://www.cnblogs.com/weiyiming007/p/12162461.html原创 2020-04-21 13:14:03 · 97 阅读 · 0 评论 -
spark读写mongodb
spark读写mongodbhttps://www.jianshu.com/p/dbac491317cc原创 2020-04-16 21:37:08 · 215 阅读 · 0 评论 -
hiveserver2的ha配置
hiveserver2的ha配置http://lxw1234.com/archives/2016/05/675.htm原创 2020-04-16 18:37:01 · 134 阅读 · 0 评论 -
sparksql生成的hive表有空文件,但是sparksql读取的时候,因为是orc格式,导致解析文件出错
sparksql生成的hive表有空文件,但是sparksql读取的时候,因为是orc格式,导致解析文件出错,但是用hive却可以正常读取。设置:set spark.sql.hive.convertMetastoreOrc=trueset spark.sql.orc.impl=native...原创 2020-02-29 21:01:52 · 1015 阅读 · 0 评论 -
hive的beline频繁建表删表之后,再创建相同表名的表报错
hive的beeline频繁建表删表之后,再创建相同表名的表报错,unable to move source hdfs…原创 2020-02-19 20:28:04 · 313 阅读 · 1 评论 -
spark-sql执行sql语句,往hive的分区分桶表中插入数据
spark-sql执行sql语句,往hive的分区分桶表中插入数据原创 2020-02-19 14:41:42 · 1100 阅读 · 0 评论