- 博客(14)
- 收藏
- 关注
原创 SparkStreaming消费kafka数据报错 object not serializable
sparkstreaming消费kafka数据报错记录
2023-03-11 22:08:15
406
原创 Linux 获取日期参数
Linux上获取各日期参数1、当前日期sysdate=`date +%Y%m%d` 2、本月初first_day=`date -d"${sysdate}" +%Y%m01`3、上月末last_mon=`date -d"${first_day} last day" +%Y%m%d`4、上年末last_year=`date -d"${sysdate} last year" +%Y1231`5、上季度末curr_month=`date -d"${sysdate}" +%_m`curr
2022-05-10 14:27:48
2550
原创 hive -f 报错 FAILED:ParseException line 1:5 cannot recognize in ‘set‘ ‘hive‘ ‘.‘ instatement
如何处理hive执行BOM头文件报错的问题
2022-05-06 16:34:09
2584
原创 hive 导出数据并指定分隔符
需求:使用beeline,将hive数据导出到本地服务器,TXT 格式,分隔符为‘|+|’。实现实现方式分为两种:1、insert overwrite 将结果导出到文件,并指定分隔符举例:insert overwrite local directory ‘/home/data/test.txt’row format delimitedfields terminated by ‘|+|’select * from table;2、hive -f 或者hive-ebeeline -u jdb
2022-05-06 13:48:45
5962
原创 Docker从0到1
一、Docker简介及安装Docker 是一种运行于 Linux 和 Windows 上的软件,用于创建、管理和编排容器。Docker架构镜像(Image):Docker 镜像(Image),就相当于是一个 root 文件系统。比如官方镜像 ubuntu:16.04 就包含了完整的一套 Ubuntu16.04 最小系统的 root 文件系统。容器(Container):镜像(Image)和容器(Container)的关系,就像是面向对象程序设计中的类和实例一样,镜像是静态的定义,容器是镜像运行时的实
2022-04-02 14:28:34
1538
原创 ftp服务及客户端安装
问题:需要用ftp向其他服务器传输文件,但是出现如下报错。bash: ftp: command not found解决:1、查看是否安装ftp服务rpm -qa |grep vsftpd如果没有安装的话,直接用yum安装ftp服务yum install vsftpd安装成功后,将ftp服务打开(默认是关闭的)service vsftpd start查看服务状态service vsftpd status2、安装ftp客户端(根据机器选择对应的rpm文件)下载安装文件http://rp
2022-03-11 11:37:18
2159
原创 Idea中查看Scala源码
1、下载源码https://www.scala-lang.org/download/2.11.12.html2、解压源码文件3、File->Project Structure->Global Libraries->选择目标sdk->选中右侧source,点击加号,选择加压后的源码文件夹点击ok点击apply,就可以了。...
2022-03-02 17:02:22
854
原创 hive中string和varchar数据类型,性能方面的差异?
在hive默认情况下,string被映射到varchar(32762),这意味着如果值超过32762,则该值将被截断如果数据不需要存储的最大varchar长度(例如,该列永远不会超过100个字符),那么它会为处理该列分配不必要的资源string数据类型的默认行为是将类型映射到varchar的SQL数据类型(32762),默认行为可能导致性能问题。...
2021-09-15 15:34:34
4544
原创 Datax学习及简单使用
文章目录一、初识Datax1、Datax是什么?2、Datax支持哪些数据源?3、Datax与Sqoop的选择二、Datax架构1、Datax设计理念2、Datax框架设计3、Datax核心插件4、Datax核心架构一、初识Datax1、Datax是什么? Datax是阿里巴巴开源的异构数据源离线同步工具,致力于实现关系型数据库,如Oracle、MySQL等,HDFS、Hive、HBASE、MongoDB、Es、FTP等各种异构数据源之间数据同步功能的稳定高效的实现。2、Datax支持哪些数
2021-05-14 16:42:09
737
1
原创 Windows环境下安装Datax
@[toc]Windows环境下安装Datax一、所需环境Windows系统电脑、Python2(Python3有特殊处理)二、安装Datax1.下载Datax百度网盘:链接: https://pan.baidu.com/s/1HM8zRYTekws0pWv6rKLNiQ提取码: hscp下载完成后解压即可三、验证是否争取安装1.打开cmd界面Win+R2.设置代码页编号输入CHCP 65001 防止中文乱码3.切换到Datax安装目录切换到安装目录下的bin目录代码:d:
2021-05-14 14:16:52
736
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人