BigData
文章平均质量分 70
千与千与千
不学无术、一无是处
展开
-
sqoop Error: jSQLException in nextKeyValue Caused by: ORA-24920:column size too large for client
问题在使用sqoop导入Oracle数据时,报错如下:INFO mapreduce.Job: Task Id : attempt_1646802944907_15460_m_000000_1, Status : FAILEDError: java.io.IOException: SQLException in nextKeyValue at org.apache.sqoop.mapreduce.db.DBRecordReader.nextKeyValue(DBRecordReader.原创 2022-05-04 22:14:37 · 2385 阅读 · 1 评论 -
kafka日志分段(.log文件)及日志文件索引机制(偏移量索引、时间戳索引)
Kafka版本:2.2.1环境:CDH日志分段(segment)格式在kafka数据存储的目录下,进入topic文件目录,可以看到多个文件,如下,从文件名可以看出,.log、.index、.timeindex文件一一对应:-rw-r--r--. 1 kafka kafka 245432 Feb 25 13:01 00000000000000000000.index-rw-r--r--. 1 kafka kafka 909769306 Feb 25 11:31 0000000000000.原创 2022-03-01 15:46:29 · 5699 阅读 · 2 评论 -
C++_Impala_UDF:使用C++编写impala自定义函数(UDF)环境搭建
1. 安装cmake1.1 下载下载链接:https://cmake.org/download/选择已编译好的版本进行安装1.2 安装上传安装包到服务器并解压配置环境变量export PATH=/home/xxx/cmake-3.21.3-linux-x86_64/bin:$PATH1.3 验证验证是否安装成功[root@xxxx xxxx]# cmake --versioncmake version 3.21.3CMake suite maintained and su原创 2021-09-30 16:17:32 · 1094 阅读 · 0 评论 -
Sqoop拉取数据到hive数据库的Parquet格式分区表
Sqoop拉取数据到hive数据库的Parquet格式分区表问题sqoop拉取语句查询结果解决Hcatalogsqoop使用Hcatalog参数参数解释问题在使用sqoop拉取数据到hive数据库时,如果hive中的表是parquet格式的分区表,那么虽然显示拉取数据成功,但查询数据时会出问题sqoop拉取语句/opt/cloudera/parcels/CDH/bin/sqoop import \--username xxxx \--password 'xxx' \--connect "jd原创 2022-01-14 14:52:48 · 2181 阅读 · 0 评论 -
Kafka提示:Note: This will have no impact if delete.topic.enable is not set to true.
问题执行topic删除命令时,出现提示Topic test is marked for deletion.Note: This will have no impact if delete.topic.enable is not set to true.这条命令其实并不执行删除动作,仅仅是在zookeeper上标记该topic要被删除而已,同时也提醒用户一定要提前打开delete.topic.enable开关,否则删除动作是不会执行的解决在server.properties中设置delete.原创 2022-02-11 18:15:59 · 5564 阅读 · 0 评论