kaku1230的博客

hiveserver2报错

然后继续后面的操作发现可以建表，那就是mysql版本问题了，但是我不想用mysql5,就继续研究，搞了将近一天还是不行，就在我快要放弃的时候看到b站上有人hive4.0用mysql8.3竟然成功了，我看了一下视频发现他用的驱动是。，跟我的8.0驱动名字差太多了，我抱着试试的心态下载了这个驱动包，放到lib目录下，重新初始化，神器的发现可以建表插入数据了，唉，整个过程真是心酸啊。我怀疑是mysql版本问题，然后换成mysql5.7,驱动换成。

sparksql处理hive

TDH报错hive:exceed safety sizeSET ngmr.safety.size.single.entry=-1;

下载一个git客户端，cdC:\Windows\LVUAAgentInstBaseRoot 到目录下，rm -f *.exe 重启完事儿

Map端分区coalesce()方法的参数shuffle默认设置为false，repartition()方法就是coalesce()方法shuffle为true的情况。****假设RDD有N个分区，需要重新划分成M个分区：**1. N < M: 一般情况下N个分区有数据分布不均匀的状况，利用HashPartitioner函数将数据重新分区为M个，这时需要将shuffle设置为true。因为重分区前后相当于宽依赖，会发生shuffle过程，此时可以使用coalesce(shuffle=tr...

sc.textFiles(path)能将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式，文件的每一行 相当于 List中以 “,”号 隔开的一个元素，而使用 sc.wholeTextFiles()时:返回的是[(K1, V1), (K2, V2)...]的形式，其中K是文件路径，V是文件内容，这里我们要注意的重点是：官方一句话：''Each file is ...

Topo check failed. Mapred tasks exceed 1000000000Automerge可以直接在Inceptor命令行中开启：SET ngmr.partition.automerge = true;SET ngmr.partition.mergesize = n;SET ngmr.partition.mergesize.mb = m;"ngmr.part...