- 博客(5)
- 收藏
- 关注
RSS订阅原创 hive相关参数设置
队列设置set mapreduce.job.queuename=quename;开启动态分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;压缩设置set mapred.compress.map.output=true;set hive.exec.compress.output=true;set mapred.output.compress=true;set mapred.o
2023-07-26 16:41:35
116
原创 StarRocks+Prometheus+Grafana安装部署
说明 root 为 StarRocks 默认内置 user，密码为空，端口为 fe/conf/fe.conf 中的 query_port 配置项，默认值为 9030。-----------------------------单机版实例----------------------------------，因为json文件是需要通过浏览器上传的，所以这里不是下载到Linux服务器上，而是需要下载到咱们打开Web所用的机器上。浏览器打开下载地址，右键，另存为，在桌面保存即可。
2023-05-29 16:34:13
662
1
原创 Spark join什么时候不触发shuffle？
这样就可以避免shuffle，因为RDD的join实现是由cogroup方法完成的，cogroup中生成了CoGroupedRDD对象，如果它的partitioner和结果CoGroupedRDD的partitioner相同，则该rdd会成为CoGroupedRDD的一个oneToOne窄依赖，否则就是一个shuffle依赖，即宽依赖。， 默认为10MB，表示当join中的一张表的size小于10MB时，spark会自动将其封装为broadcast发送到所有结点，然后进行broadcast join。
2023-05-18 20:55:26
142
1
原创 linux服务器安装jupyter notebook并设置远程访问
就会自动在根目录下生成文件（~/.jupyter/jupyter_notebook_config.py）
2023-05-18 10:14:59
147
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人