自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

hyj

大数据开发工程师

  • 博客(333)
  • 资源 (5)
  • 收藏
  • 关注

原创 【DataX】将hive表数据导入ES

Datax将hive表数据导入ES

2023-05-16 16:01:12 1151

原创 windows下DataX的安装

windows下DataX的安装

2023-05-16 14:17:56 1535

原创 【elasticsearch】windows安装运行.bat闪退问题

windows安装运行,配置本机ip,点击elasticsearch.bat闪退问题

2023-05-16 10:45:13 2009 1

原创 【Spark】dataFrame存储Hive ORC格式并显示为NULL

dataFrame存储Hive ORC格式并显示为NULL问题

2023-05-15 10:46:59 421

原创 【Spark】表记录分组去重

表记录分组去重,开窗函数

2023-05-05 10:42:20 155

原创 【Mysql】Linux环境下安装多个mysql

Linux环境下安装多个mysql

2023-02-08 19:02:04 3669 1

原创 【DolphinScheduler】V3.1.2集群搭建

dolphinScheduler v3.1.2版本集群搭建

2023-02-07 16:40:15 653

原创 【kuberneters】k8s集群安装部署

k8s集群安装部署

2022-12-30 14:18:05 1349

原创 VMware15.5安装教程

VMware15.5安装教程

2022-12-07 14:52:37 1036 2

原创 【elasticsearch】elasticsearch7.x集群搭建

elasticsearch7.x集群搭建

2022-10-31 17:20:27 2309

原创 【git】一台电脑连接管理多个git账号

一台电脑连接管理多个git账号

2022-10-28 10:16:21 2058

原创 【Hive】内置函数—关系运算

hive关系运算内置函数大全

2022-10-23 14:10:24 180

原创 【Hive】内置函数—日期函数

【Hive】内置日期函数大全

2022-10-22 10:52:44 415

原创 【Hive】内置函数—字符串函数

hive字符串内置函数大全

2022-10-21 18:03:08 3496

原创 【Hive】内置函数—条件函数

hive条件函数使用总结

2022-10-21 10:17:55 705

原创 【Hive|Spark】spark写入hive表存储格式问题

The format of the existing table default.student is `HiveFileFormat`. It doesn't match the specified format `OrcFileFormat`.;

2022-10-14 17:46:17 2523

原创 【数据库】优化处理效率——关联表法

关联表法分析表数据

2022-10-13 15:19:29 1122

原创 【Spark】concat、concat_ws函数的使用

concat、concat_ws函数的使用

2022-09-23 09:53:30 3423

原创 【Spark】RDD、DataFram、DataSet的比较与使用

RDD、DataFram、DataSet的比较与使用

2022-09-20 15:36:12 1047

原创 【Spark】spark对mysql的操作

spark对mysql的写入、读取、更新操作技巧

2022-09-14 16:42:37 3017

原创 【Hive】建表时的存储格式

hive建表时的存储格式

2022-09-09 10:15:24 5625 3

原创 【Hive】insert into 与 insert overwrite的区别

insert into 和 insert overwrite区别

2022-09-06 14:54:56 2645

原创 【Hive】各种join连接用法

hive join连接的各种用法

2022-09-02 11:46:58 6232 1

原创 【Linux】网络带宽计算理论

网络带宽计算理论

2022-08-26 16:05:20 1058

原创 【IDEA】spark-scala快速返回数据类型的方法

spark-scala快速返回数据类型的方法

2022-08-24 14:09:47 657

原创 【springBoot】@Value()用法

springBoot @Value()的使用

2022-08-24 14:04:10 635

原创 【spark】开发过程中遇到的问题

spark开发过程中遇到的问题

2022-08-24 11:49:32 221

原创 【Spark】JDBC单条或批量操作MySql

JDBC单条或批量操作MySql

2022-08-22 16:19:45 984

原创 【java】创建工具jar,供其他项目使用

java工具类封装成jar文件

2022-07-05 10:40:11 1559

原创 MD5加密的两种方式

MD5加密的两种方式

2022-06-30 16:11:10 7198

原创 Python项目如何打包成whl文件

python程序打成whl包

2022-06-24 17:45:39 8272

原创 【Docker】springBoot项目打成docker镜像

springBoot项目打成docker镜像

2022-06-07 14:22:39 2662

原创 【Docker】终止docker容器并触发python函数回调

一、docker终止容器的两种方式Docker本身提供了两种终止容器运行的方式,docker stop与docker kill;用docker stop命令来停掉容器的时候,docker默认会允许容器中的应用程序有10秒的时间用以终止运行。在docker stop命令执行的时候,会先向容器中PID为1的进程发送系统信号SIGTERM,然后等待容器中的应用程序终止执行,如果等待时间达到设定的超时时间,或者默认的10秒,会继续发送SIGKILL的系统信号强行kill掉进程。SIGKILL信号是直接发往系

2022-05-24 17:45:22 1061 1

原创 【Docker】docker数据卷的使用

一、第一次启动mysql容器的命令docker run --name mysql --privileged=true --restart=always -d \-p 3306:3306 \-v /root/docker/mysql/conf/my.cnf:/etc/mysql/conf.d/mysql.cnf \-v /root/docker/mysql/data:/var/lib/mysql \-e MYSQL_ROOT_PASSWORD="123456" mysql:5.

2022-05-19 14:29:18 2723

原创 【Docker】docker安装Mysql

目录一、安装1、拉取镜像2、创建宿主机mysql数据存放目录3、创建配置文件4、启动mysql容器二、主要命令1、停止mysql2、删除容器3、查看本地所有镜像一、安装1、拉取镜像# 后面不加:5.7版本号,默认拉取最新的;docker pull mysql:5.72、创建宿主机mysql数据存放目录mkdir -p /root/docker/mysql/confmkdir -p /root/docker/mysql/data3、创建配置

2022-05-18 18:14:35 356

原创 【Python】FastApi结合异步执行

一、需求说明在使用fastApi框架的时候,往往程序会卡到uvicorn.run方法的执行步骤,从而其下面同步执行的动作不能被执行,此时需要使用异步思维进行其他动作的执行;二、代码Web.pyfrom fastapi import FastAPIapp = FastAPI()@app.get("/info")async def info(): return {"key": "HelloWorld"}WebMain.pyimport uvicornfrom th

2022-04-27 09:49:30 3254 1

原创 【Python】全局变量global的应用

一、需求模块使用一个初始化方法去初始化本模块的全局变量,此模块中所有方法都会使用此初始化的值;二、代码Service.py#初始化def init(_name, _age): global name global age name = _name age = _agedef info(): print(name, age)main.pyimport Test01.Service as tsif __name__ == "__m

2022-04-19 11:40:14 1695

原创 【nebula graph】RPM离线搭建nebula graph集群

一、部署方案主机名 graphd 进程数量 storaged 进程数量 metad 进程数量 master 1 1 1 slaves1 1 1 1 slaves2 1 1 1 二、下载rpm安装包,并copy到三台主机同一位置wget https://oss-cdn.nebula-graph.com.cn/package/nightly/2021.11.24/nebula-graph-2021.11.24-ni

2022-04-15 16:47:56 760

原创 内网使用Maven本地仓库环境

一、需求说明在内网开发中,由于不能上网的情况下,需要离线使用一些下载好的maven依赖仓库,这个时候需要一些特殊的配置,才能正确的使用;二、配置步骤1、下载并配置maven环境配置maven环境变量:MAVEN_HOME:C:\MyselfApplication\WinSoft\Maven\apache-maven-3.5.0Path:%MAVEN_HOME%\bin查看是否配置成功:mvn -v2、修改配置文件这里maven仓库的建设位置为:C:...

2022-04-13 16:08:57 3344 6

原创 【Linux】分析目录占用大小

当linux没有可用空间时,或者分析哪一个目录占用空间大小情况可以使用如下办法:# 选择进去的目录,这里 /cd /# 显示每个目录空间大小du -sh *

2022-04-08 15:23:20 742

java面试宝典,java工程师

java面试宝典、java工程师

2023-05-19

DataX技术之ES写入插件包

DataX技术方面ES写入插件包,将此插件包解压,并放到datax的plugin\writer目录下;

2023-05-16

Linux系统下Mysql的详细安装步骤

这里使用的系统环境是Centos7; 详细描述了基于RPM和tar.gz两种Mysql包的安装方式; 从基础的下载到软件的配置都有详细说明; 是一篇值得珍藏的Mysql安装使用手册;

2022-07-01

jersey相关包下载

包含jersey-client-1.9.jar、jersey-core-1.9.jar、jersey-guice-1.9.jar

2022-07-01

springBoot项目打成docker镜像资料.zip

springBoot项目打成docker镜像资料

2022-06-07

IDEA多项目之间的依赖测试代码

IDEA多项目之间的依赖测试代码

2022-03-28

numpy的读写操作测试文本

numpy的读写操作测试文本

2022-03-08

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除