storm_fury
码龄4年
  • 583,557
    被访问
  • 193
    原创
  • 706,510
    排名
  • 111
    粉丝
关注
提问 私信

个人简介:本是青灯不归客,却因浊酒留红尘

  • 加入CSDN时间: 2018-09-16
博客简介:

storm_fury

博客描述:
不忘初心,方得始终。请关注本人微信公众号 Java菜鸟
查看详细资料
个人成就
  • 获得206次点赞
  • 内容获得121次评论
  • 获得722次收藏
创作历程
  • 22篇
    2020年
  • 122篇
    2019年
  • 53篇
    2018年
成就勋章
TA的专栏
  • Shell
  • 并发
  • Druid
    1篇
  • Flink
    6篇
  • Kudu
    3篇
  • Impala
    1篇
  • SQL Server
    2篇
  • NiFi
    2篇
  • Redisson
    1篇
  • Hadoop
    5篇
  • Hive
    26篇
  • Spark
    14篇
  • Yarn
    2篇
  • Kafka
    11篇
  • CDH
    25篇
  • Linux
    16篇
  • Python
    7篇
  • StreamSets
    5篇
  • Flume
    9篇
  • Sqoop
    3篇
  • Hue
    6篇
  • Phoenix
    6篇
  • Elasticsearch
    6篇
  • Zookeeper
    3篇
  • HBase
    2篇
  • Sentry
    3篇
  • Mysql
    10篇
  • Java
    20篇
  • Livy
    2篇
  • Zeppelin
    2篇
  • Kylin
    1篇
  • Redis
    1篇
  • Git
    3篇
  • Davinci
    1篇
  • 设计模式
    1篇
  • 数据结构
    1篇
  • R
    1篇
  • Eclipse
    1篇
  • OpenSSL
    1篇
  • java常用工具类
    10篇
  • 其他
    4篇
  • Vmware
    4篇
  • Hexo
    1篇
兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
  • 数据库管理
    数据仓库
  • 最近
  • 文章
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Flink 在 idea上提交任务到远程服务器

Flink自身提供了远程提交任务的环境,源码如下:请查看StreamExecutionEnvironment 类中 createRemoteEnvironment 方法def createRemoteEnvironment( host: String, port: Int, parallelism: Int, jarFiles: String*): StreamExecutionEnvironment = { val javaEnv = JavaEnv.create
原创
发布博客 2020.07.03 ·
1496 阅读 ·
0 点赞 ·
2 评论

Flink 本地运行日志配置

方法一: 使用 log4j.properties在 src/main/resources 中添加 log4j.properties 文件################################################################################# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements..
原创
发布博客 2020.06.29 ·
3439 阅读 ·
2 点赞 ·
0 评论

利用 StreamSets 实现将 SQL Server 中数据实时同步写入 Kudu

环境准备SQL Server 中创建测试库表CREATE DATABASE test;CREATE TABLE [dbo].[cdc_test] ( [id] int IDENTITY(1,1) NOT NULL, [name] varchar(60) COLLATE Chinese_PRC_CI_AS NOT NULL, CONSTRAINT [PK_cdc_tes...
原创
发布博客 2020.04.29 ·
1110 阅读 ·
1 点赞 ·
0 评论

flume断点续传配置

flume-1.6a1.sources = r1 r2 r3a1.sinks = k1a1.channels = c1a1.sources.r1.type = execa1.sources.r3.shell = /bin/bash -ca1.sources.r3.command = tail -n +$(tail -n1 /root/data/log1) -F /var/log/...
原创
发布博客 2018.10.31 ·
2289 阅读 ·
0 点赞 ·
0 评论

Hive 性能调优

Join 优化大表放右边,小表放左边。多个表关联时,最好分拆成小段,避免大sql大表 join 大表可采用 空 key 过滤、空key转换随机赋值使用 mapjoin开启 mapjoin 设置:设置自动选择Mapjoin,默认为trueset hive.auto.convert.join = true; 大表小表的阈值设置(默认25M以下认为是小表):set...
原创
发布博客 2019.06.03 ·
341 阅读 ·
0 点赞 ·
0 评论

统一 Cloudera Manager、Hue和Oozie的时区

查看Cloudera Manager时区修改Cloudera Manager时区查看Cloudera Manager Server 服务器时区[root@cdh01 ~]# timedatectl Local time: 五 2019-05-24 12:19:36 UTC Universal time: 五 2019-05-24 12:19:...
原创
发布博客 2019.05.24 ·
854 阅读 ·
3 点赞 ·
1 评论

Spark的作业调度机制

简介Spark调度机制可以理解为两个层面的调度。Spark Application调度(Spark应用程序在集群中运行的调度,包括Driver调度和Executor调度)和单个Spark应用程序SparkContext的内部调度。SparkContext内部调度就是每个Spark Application都会有若干Jobs(Spark Actions),然后这些job是以何种机制在Execu...
原创
发布博客 2019.08.22 ·
536 阅读 ·
1 点赞 ·
0 评论

Kafka 多种语言编写 Producer

Java 编写 Producerpackage com.demo;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.ProducerConfig;...
原创
发布博客 2019.06.20 ·
1763 阅读 ·
0 点赞 ·
0 评论

Java内部类

在Java中,可以将一个类定义在另一个类或者一个方法里面,这样的类称为内部类。广泛意义上的内部类一般来说包括这四种:成员内部类、静态内部类、局部内部类和匿名内部类。成员内部类内部类作为外部类的一个成员变量,访问权限可以是任意的权限。成员内部类中不允许定义静态的成员(静态方法、静态属性),实例化对象时需要借助外部类的对象完成。字节码文件名格式: 外部类$内部类.classpublic class OuterClass { public String name; // 定义成
原创
发布博客 2020.08.05 ·
118 阅读 ·
0 点赞 ·
0 评论

Linux 环境下安装部署 Weblogic

环境准备配置 java 环境变量export JAVA_HOME=/usr/local/javaexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH创建 weblogic 用户及用户组[root@node00 ~]# mkdir -p /u01/weblogic[root@node00 ~]# ll[root@node00 ~]#..
原创
发布博客 2020.07.30 ·
221 阅读 ·
0 点赞 ·
0 评论

使用 Spark 跨集群同步HDFS数据

import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}import org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionobject TestFileCopy { def main(args: Array[String]): Unit = { Logger.getLogger("org.a
原创
发布博客 2020.07.22 ·
998 阅读 ·
0 点赞 ·
0 评论

Scala中反射的使用

参考: http://software.clapper.org/classutil/测试类:import com.project.dmp.utils.ClassUtilsimport org.clapper.classutil.ClassInfoimport org.clapper.classutil.ScalaCompat.LazyListimport org.junit.Testimport spire.std.mapclass ClassUtilTest { /** * 获
原创
发布博客 2020.07.17 ·
255 阅读 ·
0 点赞 ·
0 评论

Scala 中如何使用 continue 和 break 跳出循环

示例代码:object Test { def main(args: Array[String]): Unit = { import scala.util.control.Breaks._ println("=============== Continue ===================") for (i <- 1 to 10) { breakable { if (i % 2 == 0) { break
原创
发布博客 2020.07.13 ·
583 阅读 ·
0 点赞 ·
0 评论

构建并生成日期维度数据表

基于 MySQL 生成日期维度数据创建日期维度数据表DROP TABLE IF EXISTS `date_dim`;CREATE TABLE IF NOT EXISTS `date_dim` ( `date_sk` BIGINT ( 20 ) NOT NULL AUTO_INCREMENT, `date` VARCHAR ( 255 ) DEFAULT NULL, `month` VARCHAR ( 255 ) DEFAULT NULL, `month_name` ..
原创
发布博客 2020.07.03 ·
653 阅读 ·
0 点赞 ·
0 评论

Kudu 表数据迁移

使用 Kudu Command Line Tools 将表数据复制到另一个表这两个表可在同一个集群中,也可在不同集群。但是这两个表必须具有相同的表模式,可以具有不同的分区模式。该工具可以使用与源表相同的表和分区模式创建新表。用法:kudu table copy <master_addresses> <table_name> <dest_master_addresses> [-nocreate_table] [-dst_table=<table>] [-n
原创
发布博客 2020.07.01 ·
2250 阅读 ·
0 点赞 ·
1 评论

在 Kudu 中集成 Hive Metastore

在启用 Kudu-HMS 集成之前,要确保 Kudu 和 HMS 现有表的视图一致。这可能需要重命名Kudu表以符合Hive命名约束。在启用与 Hive Metastore 集成之前应升级现有 Kudu 表。准备升级在升级过程中,Kudu群集仍然可用。Kudu 和 Hive Metastore 中的表可能会更改或重命名。可以使用以下命令记录所有外部表并将其删除。这减少了与 Kudu 表发生命名冲突,导致升级过程中出现错误。升级完成后,重新创建外部表。[root@node01 ~]# sudo -
原创
发布博客 2020.07.01 ·
1908 阅读 ·
0 点赞 ·
3 评论

使用 Imply 安装部署 Druid 集群并测试

下载 imply 安装包[root@node01 opt]# wget https://static.imply.io/release/imply-3.3.3.tar.gz解压安装包并修改配置文件[root@node01 opt]# tar -xzf imply-3.3.3.tar.gz[root@node01 ~]# cd imply-3.3.3[root@node01 imply-3.3.3]# cd conf/druid/_common/[root@node01 imply-3...
原创
发布博客 2020.06.02 ·
744 阅读 ·
0 点赞 ·
0 评论

Flink 实时将数据写到 Redis

RedisSinkDemo 代码import java.net.InetSocketAddressimport java.utilimport org.apache.flink.streaming.api.scala._import org.apache.flink.streaming.connectors.redis.RedisSinkimport org.apache.flink.streaming.connectors.redis.common.config.FlinkJedisClu..
原创
发布博客 2020.05.20 ·
1615 阅读 ·
1 点赞 ·
0 评论

Flume 采集 kafka 数据实时写入 Kudu

####### 创建 JsonKuduOperationsProducer.java 用于处理 Json 字符串写入Kuduimport com.alibaba.fastjson.JSON;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.FlumeException;import org.apache.flume.annotations.InterfaceAudience..
原创
发布博客 2020.05.18 ·
1141 阅读 ·
0 点赞 ·
0 评论

关于 Impala 时区问题及解决办法

查询使用 from_unixtime 时,遇到如图所示情况:解决办法:默认 impala 配置不是中国的时区登录CM,进入Impala服务,进入配置项Cloudera Manager -> Impala -> 配置-> Impala Daemon -> 高级增加如下参数:-use_local_tz_for_unix_timestamp_conversions-convert_legacy_hive_parquet_utc_timestamps保存..
原创
发布博客 2020.05.16 ·
1428 阅读 ·
0 点赞 ·
1 评论
加载更多