ghyscn-CSDN博客

原创 Atlas 2.1.0打包兼容hive2.1.1-cdh6.2.0 修改源码

Atlas 2.1.0打包兼容hive2.1.1-cdh6.2.0修改源码

2023-02-09 15:35:52 182

原创 Hive端建表中文注释乱码

查看Hive库表在MySQL中的元数据信息，发现数据库的编码是utf8，而库中表的编码是latin1，所以才会导致hive中中文显示乱码。MySQL编码是utf-8，MySQL中建库建表中文显示都正常，但在Hive窗口中建表时字段中文注释均乱码的问题。将 Hive 原数据库表中有关中文显示的表或者字段的编码改为 utf8，问题解决。在Hive中新建表，然后查看中文字段显示情况，正常。

2023-01-12 17:05:56 477 3

kafka基础消费者APIkafka消费者的消费方式kafka有两种消费方式:pull(拉)模式和push(推)模式.pull模式的不足之处是,如果kafka没有数据，消费者可能会陷入循环中，一直返回空数据。针对这一点，Kafka的消费者在消费数据时会传入一个时长参数timeout（没有默认值，需要手动设置Duration.ofSeconds(1)），如果当前没有数据可供消费，consumer会等待一段时间之后再返回，这段时长即为timeout。push（推）模式很难适应消费速率不同的消费者，因为

2021-10-08 19:48:58 370

原创 kafka生产者异步和同步发送API

kafka生产者异步和同步发送API异步发送API1. 导入依赖<dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.1</version>

2021-10-08 19:21:05 659

原创 hadoop调优及常用调优参数

hadoop调优及常用调优参数MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点:1.计算机性能cpu,内存,磁盘健康,网络2.I/O操作优化数据倾斜Map和Reduce数设置不合理Map运行时间过长,导致Reduce等待过久小文件过多大量不可切片的超大压缩文件Spill次数过多等Merge次数过多…MapReduce优化方法MapReduce优化方法主要从六个方面考虑：数据输入Map阶段Reduce阶段I/O传输数据倾斜问题常用调优参数

2021-09-17 20:47:28 189

原创 C语言初学者学习攻略

C语言初学者学习攻略学习编程语言以来，真的是遇到了很多很多的困难，庆幸可以在很多的渠道得到各位同道中人的帮助，一点一点磕磕碰碰的成长。在CSDN里看了很多大牛写的博客，觉得学习，分享和沟通真的很重要！！！所以决定养成一个写博客的习惯，把自己所学的知识和学习过程中的感悟通过这种方式记录下来，如果还能帮助到大家就再好不过了。废话不多说，直接进入主题。文章目录C语言初学者学习攻略前言一、什么是C语言？二、学习内容1.安装环境。（vs2013版本的安装）2.第一个从语言程序(hello world)

2021-02-16 22:10:25 391 4

ghyscn的博客