GOD_WAR
码龄6年
  • 526,520
    被访问
  • 385
    原创
  • 2,657
    排名
  • 598
    粉丝
关注
提问 私信

个人简介:喜欢专研大数据、python、机器学习、人工智能...

  • 加入CSDN时间: 2016-10-15
博客简介:

yang灬仔

博客描述:
低调的写文章!
查看详细资料
  • 6
    领奖
    总分 1,886 当月 155
个人成就
  • 获得499次点赞
  • 内容获得145次评论
  • 获得2,084次收藏
创作历程
  • 19篇
    2022年
  • 55篇
    2021年
  • 156篇
    2020年
  • 143篇
    2019年
  • 15篇
    2018年
  • 9篇
    2017年
  • 1篇
    2016年
成就勋章
TA的专栏
  • 技术博览
    109篇
  • Flink
    62篇
  • spark
    60篇
  • 数据仓库
    13篇
  • canal
    3篇
  • maxwell
    1篇
  • hive
    37篇
  • kafka
    16篇
  • flume
    7篇
  • hbase
    30篇
  • java
    1篇
  • springboot
    2篇
  • dubbo
    4篇
  • hadoop
    5篇
  • mongodb
    3篇
  • zookeeper
    4篇
  • nginx
    7篇
  • ClickHouse
    4篇
  • PowerDesigne
    1篇
  • kerberos
    2篇
  • Filebeat
    2篇
  • 可视化
    2篇
  • datax
    1篇
  • Griffin
    2篇
  • kudu
    3篇
  • git
    10篇
  • scala
    2篇
  • sqoop
    1篇
  • kettle
    2篇
  • mysql
    20篇
  • 项目
    7篇
  • 问题
    10篇
  • 环境搭建
    6篇
  • 中台
    3篇
  • CM+CDH
    3篇
  • Kylin
    7篇
  • Linux
    14篇
  • python
    1篇
  • 机器学习
    4篇
  • Impala
    2篇
  • ELK
    15篇
  • redis
    9篇
  • 优化
    5篇
  • 面试问题
    13篇
  • Exception
    11篇
  • 开发工具
    2篇
兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
  • 数据库管理
    数据仓库
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

gitee 实现多人提交到同一个仓库

一、缘由1、在使用GitHub或gitee时,如果A创建了项目仓库,让B参与开发,一般情况下是需要B fork后,然后在自己的项目中开发,提交后,给A项目(原始项目)发送一个新的request,A在自己的仓库中进行合并后,才能看到最新的效果。2、原作者进行了更新,B不能马上看到,而是还需要进行一次request才可以看到以上这种是因为权限问题,因为你不能直接给A提交代码,这样会不可控。通常情况下如果不是信任的人,这是正常的工作模式。但是如果是2个人或多个人作为一个团队一起开发一个项目,再这样
原创
发布博客 2022.05.17 ·
138 阅读 ·
2 点赞 ·
0 评论

gitee免费部署静态网站

使用gitee免费部署静态网站今天介绍一个免费部署项目的方式,当然这个方式只能是部署静态网站,具体静态网站是啥这里就不介绍了。本文适合对象:新手小白如果是程序员老手,只是想看下怎么部署的话直接跳转到步骤五开始看即可准备工作:1.git账号申请,目前比较流行的有三个,GitHub、GitLab、gitee(本文选用gitee)2.Git安装,具体教程网上有很多,官网也有3.编辑工具安装,静态网站的编辑工具有很多,比如Hbuilder、vscode(推荐)、Dreamweaver等等,当然你
原创
发布博客 2022.05.17 ·
44 阅读 ·
1 点赞 ·
0 评论

SparkSql 3.0 UDAF 求和,求平均

使用spark sql 3.0版本自定义UDFA ,3.0版本之前 extends UserDefinedAggregateFunction 已经过时新方法如下代码:代码中自定义了求和,求平均package com.cy.sparkimport org.apache.log4j.{Level, Logger}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.expressions.{Aggregator, Mu..
原创
发布博客 2022.05.10 ·
348 阅读 ·
0 点赞 ·
0 评论

squirrel 通过phoenix 连接 hbase

squirrel下载从网址http://www.squirrelsql.org/下载相应版本的squirrel的安装jar包,好比下载squirrel-sql-3.8.1-standard.jar window版本。1.4.3.2 squirrel安装Window下:经过cmd进入window控制台,输入 java -jar squirrel-sql-3.8.1-standard.jar显示安装界面。出现安装界面以后,一直点击下一步下一步,直到最终执行完毕。点击Done,最
原创
发布博客 2022.05.10 ·
303 阅读 ·
0 点赞 ·
0 评论

ERROR 1193 (HY000): Unknown system variable ‘validate_password_policy‘

mysql 5.7安全策略设置 报错ERROR 1193 (HY000): Unknown system variable 'validate_password_policy'为了方便,想要调低mysql 5.7版本的密码级别,于是乎直接设置:设置密码策略最低级别mysql> set global validate_password_policy=0;ERROR 1193 (HY000): Unknown system variable 'validate_password_policy
原创
发布博客 2022.05.09 ·
385 阅读 ·
0 点赞 ·
0 评论

CentOS7版本中 -bash: locate: 未找到命令

CentOS7版本中 -bash: locate: 未找到命令使用命令locate时发现系统显示:-bash: locate: 未找到命令,遇到错误。它的原因是:在CentOS 7 系统中默认没有安装该命令。以下为解决办法:1.安装"locate"命令即可。在终端运行“yum install mlocate”命令。2.下载好之后会提示我们:Is this ok [y/d/N]:,这一步我们输入y3.安装好之后,locate命令已安装完成。接下来需更新文件资料库,输入命令:upd.
原创
发布博客 2022.05.09 ·
229 阅读 ·
0 点赞 ·
0 评论

Dbeaver Phoenix 各种报错

Dbeaver 连接Phoenix 失败,各种报错:Unexpected driver error occurred while connecting to the databasejava.lang.RuntimeException:class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.apache.hadoop.security.GroupMappingServiceProviderER..
原创
发布博客 2022.04.13 ·
256 阅读 ·
0 点赞 ·
3 评论

Idea配置 阿里云 Spring Initializr URL

Idea默认Strart services url Idea中默认使用为https://start.spring.io/,国内网络如果不稳定创建工程会很慢 修改为阿里云地址 https://start.aliyun.com/
原创
发布博客 2022.03.30 ·
519 阅读 ·
1 点赞 ·
0 评论

hive 传参脚本

向hive脚本中传入参数,两种情况:一、shell脚本调度hive脚本, hive可以直接读取系统变量和环境变量hive脚本--#test.sqluse huh;select '${env:month}' as month from table_name;脚本传参--#start.sh#!/bin/shset -xexport month=`date -d 'last month' +%Y-%m`hive -f test.sql二、使用-hivevar 和 -hive
原创
发布博客 2022.03.30 ·
2048 阅读 ·
0 点赞 ·
0 评论

常用SQL脚本大全

1、行转列的用法PIVOTCREATEtabletest(idint,namenvarchar(20),quarterint,numberint)insertintotestvalues(1,N'苹果',1,1000)insertintotestvalues(1,N'苹果',2,2000)insertintotestvalues(1,N'苹果',3,4000)insertintotestvalues(1,N'苹果',4,5000)insertinto...
原创
发布博客 2022.03.25 ·
228 阅读 ·
0 点赞 ·
0 评论

Phoenix schema的 启用、操作、关闭

SCHEMA 的启用、操作、关闭1,启用 SCHEMA注意:Phoenix中将HBase的namespace叫做SCHEMA,相当于mysql中的库的概念。(1)默认Phoenix的自定义SCHEMA并没有开启,需要在HBase的hbase-site.xml中增加以下配置项,然后重启Hbase:<property> <name>phoenix.schema.isNamespaceMappingEnabled</nam...
原创
发布博客 2022.03.19 ·
224 阅读 ·
0 点赞 ·
0 评论

flink 异步IO AsyncFunction

flink使用AsyncFunction在流式处理的过程中, 在中间步骤的处理中, 如果涉及到一些费事的操作或者是外部系统的数据交互, 那么就会给整个流造成一定的延迟. 在 flink 的 1.2 版本中引入了 Asynchronous I/O, 能够支持异步的操作, 以提高 flink 系统与外部数据系统交互的性能及吞吐量.在使用 Flink 的异步 IO 时, 主要有两个 API可以使用, 一个是AsyncDataStream.unorderedWait( ), ...
原创
发布博客 2022.03.19 ·
159 阅读 ·
0 点赞 ·
0 评论

Flink broadcast的用法

在Flink中,同一个算子可能存在若干个不同的并行实例,计算过程可能不在同一个Slot中进行,不同算子之间更是如此,因此不同算子的计算数据之间不能像Java数组之间一样互相访问,而广播变量Broadcast便是解决这种情况的.在 flink 中, 针对某一个算子需要使用公共变量的情况下, 就可以把对应的数据给广播出去, 这样在所有的节点中都可以使用了. 典型的代码结构如下所示:在一个算子中使用广播变量主要有两个步骤: 广播变量 (一般写在算子的后面即可) 使...
原创
发布博客 2022.03.18 ·
2011 阅读 ·
0 点赞 ·
0 评论

Flink Savepoint 和 Checkpoint 使用

flink Savepoint 和 Checkpoint 使用checkpoint 应用定时触发,用于保存状态,会过期 内部应用失败重启的时候使用,特点是作业容错自动恢复,轻量,自动周期管理 savepoint 用户手动执行,是指向Checkpoint的指针,不会过期 在升级的情况下使用,特点关注状态数据可以移植性,状态数据生成和恢复成本高,用户手动管理 注意:为了能够在作业的不同版本之间以及 Flink 的不同版本之间顺利升级,强烈推荐程序员通过 uid(String) 方法手动的给
原创
发布博客 2022.03.17 ·
1748 阅读 ·
1 点赞 ·
0 评论

FLINK提交任务的两种方式

FLINK提交任务的两种方式1、命令行提交bin/flink run -m hadoop:8081 -c cn.test.day01.StreamWordCount -p 4 /test/flink-java-1.0.jar-m 指定jobmanager的位置 -c 程序的全类名 -p 指定并行度更多参数参考:Flink 命令行提交参数2、web页面提交这里上传jar包实际上是传到了JobManager所在的节点...
原创
发布博客 2022.03.17 ·
3270 阅读 ·
1 点赞 ·
0 评论

Flink 命令行提交参数

Flink 命令行提交参数:1 参数必选 : -n,--container <arg> 分配多少个yarn容器 (=taskmanager的数量) 2 参数可选 : -D <arg> 动态属性 -d,--detached 独立运行 -jm,--jobManagerMemory <arg> JobManager的内存 [i
原创
发布博客 2022.03.17 ·
473 阅读 ·
0 点赞 ·
0 评论

Flink operator-state 和 keyed-state 两者的区别

operator-state 和 keyed-state 两者的区别详细描述一下上面的问题:operator-state 和 keyed-state 两者的区别?最大并行度又和它们有什么关系?举个生产环境中经常出现的案例,当用户停止任务、更新代码逻辑并且改变任务并发度时,两种 state 都是怎样进行恢复的?总结如下:operator-state: 状态适用算子:所有算子都可以使用 operator-state,没有限制。 状态的创建方式:如果需要使用 op...
原创
发布博客 2022.03.12 ·
71 阅读 ·
0 点赞 ·
0 评论

Flink 反压问题

一、反压有哪些危害? 任务处理性能出现瓶颈:以消费 Kafka 为例,大概率会出现消费 Kafka Lag。 Checkpoint 时间长或者失败:因为某些反压会导致 barrier 需要花很长时间才能对齐,任务稳定性差。 整个任务完全卡住。比如在 TUMBLE 窗口算子的任务中,反压后可能会导致下游算子的 input pool 和上游算子的 output pool 满了,这时候如果下游窗口的 watermark 一直对不齐,窗口触发不了计算的话,下游算子就永远无法触发窗口计算了。
原创
发布博客 2022.03.12 ·
2018 阅读 ·
0 点赞 ·
0 评论

Hive3.1.2 shell 打印大量日志问题

在hive-3.1.x版本中,使用hive shell时,会发现在查询命令中夹杂大量的日志信息,严重干扰查询结果显示,特别是强迫症患者,不能忍受。通过修改conf下的日志文件,会发现不起任何作用。解决办法:1.在 Hive 安装目录的 conf 目录下创建出 log4j.properties 日志配置文件,以WARN 级别为例:2.添加如下内容:log4j.rootLogger=WARN, CAlog4j.appender.CA=org.apache.log4j.ConsoleApp
原创
发布博客 2022.01.21 ·
2507 阅读 ·
9 点赞 ·
0 评论

Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris

flink集成hive 启动:flink-sql 报错:./sql-client.sh embedded报错如下:2021-12-18 17:49:42,129 INFO org.apache.hadoop.hive.conf.HiveConf [] - Found configuration file file:/home/hadoop/apps/hive-3.1.2/conf/hive-site.xmlException in thr...
原创
发布博客 2021.12.24 ·
1209 阅读 ·
0 点赞 ·
1 评论
加载更多