dinghua_xuexi
码龄12年
关注
提问 私信
  • 博客:128,415
    128,415
    总访问量
  • 66
    原创
  • 914,306
    排名
  • 111
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:北京市
  • 加入CSDN时间: 2012-12-18
博客简介:

dinghua_xuexi的专栏

查看详细资料
个人成就
  • 获得35次点赞
  • 内容获得24次评论
  • 获得220次收藏
  • 代码片获得139次分享
创作历程
  • 7篇
    2022年
  • 2篇
    2021年
  • 61篇
    2020年
成就勋章
TA的专栏
  • linux环境搭建
    8篇
  • Hive
    6篇
  • 数据库
    2篇
  • Java
    2篇
  • Linux命令
    2篇
  • Flink
    4篇
  • Linux
    2篇
  • 学习方法
  • 大数据
    26篇
  • Druid.io
    4篇
  • kafka
    6篇
  • spark
    5篇
  • hbase
    1篇
  • 技术思考
    1篇
  • JavaSE
    2篇
  • mysql
    1篇
  • Impala
  • NIO
  • 数据结构与算法
    10篇
  • 数据仓库
  • Hadoop
    9篇
  • 广告投放
  • maven
    1篇
  • 字符串
  • spark面试
  • 请求抓包
  • 字符串转数字
    2篇
  • 算法
  • 排序
  • 排序算法
  • 数据结构算法
  • Spark Streaming
    1篇
  • Kudu
  • jstack
    1篇
  • java进程
    1篇
  • timezone
    1篇
  • 时序数据库
    1篇
  • influxdb
    1篇
  • 编译源码
    1篇
  • flume
    1篇
  • 电脑日常故障
    1篇
  • CDH
    4篇
  • YARN
兴趣领域 设置
  • 大数据
    hadoophivesparketl
创作活动更多

超级创作者激励计划

万元现金补贴,高额收益分成,专属VIP内容创作者流量扶持,等你加入!

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

MySQL日期函数

mysql 主要的日期时间函数使用说明
原创
发布博客 2022.08.20 ·
3298 阅读 ·
5 点赞 ·
6 评论 ·
31 收藏

IDEA 开发spring cloud maven 依赖包标红报错omitted for duplicate

spring cloud环境问题解决
原创
发布博客 2022.06.29 ·
1671 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

缓存IO和直接IO

I/O:输入/输出(Input/Output),分为IO设备和IO接口两个部分。在POSIX兼容的系统上,例如Linux系统,I/O操作可以有多种方式,比如DIO(Direct I/O),AIO(Asynchronous I/O, 异步I/O),Memory-Mapped I/O(内存映射I/O)等,不同的I/O方式有不同的实现方式和性能,在不同的应用中可以按情况选择不同的I/O方式。缓存io缓存I/O又被称作标准I/O,大多数文件系统的默认I/O操作都是缓存I/O。在Linux的缓存I/O
转载
发布博客 2022.04.08 ·
771 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

什么是WebSocket,它与HTTP有何不同

今天翻译一篇关于HTTP和WebSocket的文章。HTTP和WebSocket都是客户端-服务器通信中使用的通信协议。文章用几个例子解释了两者的不同以及分别适用在什么应用场景。有些容易混淆的概念(比如说HTTP长连接)和待补充的概念我用斜体字注解到了文章中。作者:GeeksforGeeks来源:GeeksforGeeks原文链接:https://www.geeksforgeeks.org/what-is-web-socket-and-how-it-is-different-from-the-htt
转载
发布博客 2022.04.08 ·
548 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

SuperSet 查询Druid.io 时区转换查询

SELECT FLOOR(TIMESTAMPADD(HOUR, 8, __time) TO DAY) AS "__timestamp", "room_id" AS "room_id", "game_type" AS "game_type", "game_mode" AS "game_mode", TIME_FORMAT(MILLIS_TO_TIMESTAMP(MIN(start_time_min)*1000), 'yyyy-MM-dd HH:mm:s.
原创
发布博客 2022.03.31 ·
453 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Redash 查询 druid.io 时区转换

select dms1, event, SUM("count") AS pvFROM "apprizhi-app_statistic"WHERE TIMESTAMPADD(HOUR, 8, __time) >= TIME_PARSE('{{ start_date }}T00:00:00') AND TIMESTAMPADD(HOUR, 8, __time) < TIME_PARSE('{{ end_date }}T00:00:00') AND appkey='.
原创
发布博客 2022.03.31 ·
472 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

hive中控制窗口范围rows between的使用

1.rows between的作用在使用hsql完成一些业务需求的时候,我们经常会用到窗口函数,某些场景下会涉及到需要控制窗口函数的范围来满足业务需求,这个时候就需要用到rowsbetween了,使用rows between可以根据自己的需求任意的控制窗口函数的范围。2.rows between的使用首先我们有一张如下的数据表sid day_time sale 101 2020-01-03 10 102 2020-01-04 20 103
原创
发布博客 2022.03.29 ·
2052 阅读 ·
1 点赞 ·
1 评论 ·
8 收藏

人际交往50规律(转)

受欢迎的人一般都是活泼开朗,多才多艺,人群中比较亮眼那种。而不是非得讨好每个人,才能人缘好。 人际交往百分之八十都是利益互换。该谈利益的时候,莫谈感情。看清楚这一点,别到头来你把人家当知己,人家把你当ATM。 人们会因为寂寞和不适应新环境而交各种各样的朋友。但是只要你们本性不同,最后的结局必然是渐行渐远。 没有人喜欢被教育。如果不是对真正的朋友,不要轻易提出建议和批评。这样的结果通常是,双方没有得到任何好处,反而积累怨恨。 善于倾听是维持友谊的秘诀。 每个人成长环境,价值观不一样,对生活中大大小小
转载
发布博客 2021.06.23 ·
225 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

编译zookeeper3.5.9

源码下载地址https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9.tar.gz编译zookeeper 3.4.x及之前的版本都是用ant编译的,而从3.5.x开始使用maven编译,可以说步入了java项目编译的主流当中,因为zookeeper版本较新,而编译zookeeper的maven版本自然不能太低,我这里使用的是maven3.6.31 下载zookeeper源码
原创
发布博客 2021.02.02 ·
383 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Hive的时间操作函数

from_unixtime功能: UNIX时间戳转日期函数:语法:from_unixtime(bigintunixtime[,stringformat])返回值:string说明:转化UNIX时间戳(从1970-01-0100:00:00UTC到指定时间的秒数)到当前时区的时间格式举例:selectfrom_unixtime(1323308943,’yyyyMMdd’)fromdual; #结果 20111208unix_timestamp功能:...
原创
发布博客 2020.12.15 ·
3989 阅读 ·
1 点赞 ·
0 评论 ·
10 收藏

利用lit和typeLit为spark dataframe增加常量列 & udf函数传入额外参数

有时候由于数据处理需要,我们会为dataframe添加一个常量列,本文介绍向dataframe添加常量列的方法。使用typedLit函数通过函数:org.apache.spark.sql.functions.typedLit,可以添加List,Seq和Map类型的常量列。scala> val df1 = sc.parallelize(Seq("Hello", "world")).toDF()df1: org.apache.spark.sql.DataFrame = [value: st
原创
发布博客 2020.12.17 ·
4359 阅读 ·
1 点赞 ·
0 评论 ·
9 收藏

java继承中的重载和重写

重载方法的选择当有多个重名函数,在决定要调用哪个方法的过程中,首先按照参数类型进行匹配,即寻找所有重载方法中最匹配的,然后再看变量的动态类型,进行动态绑定实验代码Base1类public class Base1 { public int multi(int a, int b) { System.out.println("base int int"); return a - b; }}Child1类public class C.
原创
发布博客 2020.11.06 ·
263 阅读 ·
0 点赞 ·
2 评论 ·
0 收藏

java继承的重名和动静态绑定

问题背景在java继承场景中,假如有父类Base,字类child, Child类中有和Base类中重名的静态或者非静态成员(字段,方法等)。假如Base类的引用指向了Child类的示例,则按照如下分析其引用的运行类型1 动态绑定需要等待运行时才能决定运行类型。动态绑定的情况只有一种* 实例非静态方法2 静态绑定编译时期即可决定运行类型* 实例变量* 静态变量* 静态方法* private方法实验代码Base类..
原创
发布博客 2020.11.06 ·
203 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

利用Jconsole查看kafka任意Broker的指标

1 进入zookeeper命令窗口[bigdataservice@zk-01 ~]$ zookeeper-client Connecting to localhost:21812020-10-17 16:04:43,189 [myid:] - INFO [main:Environment@100] - Client environment:zookeeper.version=3.4.5-cdh6.2.0--1, built on 03/14/2019 06:15 GMT2020-10-17 1
原创
发布博客 2020.10.17 ·
465 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Kafka中的时间轮调度算法

问题背景在kafka生产者发送数据过程中,源源不断的产生数据,然后发给kafka。我们考虑这样一种场景,数据产生速率时快时慢,我们是不是产生一条发送一条呢?很显然,在高吞吐数据场景下,这样的作法,IO性能不高,没有很好的利用socket缓存。那么是不是一定要积累到一定量再发数据呢?这在低吞吐场景下,数据时效性又没法保证。因此,我们一般结合数据量和时间两个因素来考量数据发送的时机。除了这种场景外,还有许多场景,需要用到定时器,在java传统的Timer定时器,定时比较固定刻板,不够灵活,而且效率也不高。因
原创
发布博客 2020.10.10 ·
936 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Kafka生产者拦截器的使用

拦截器定义package thread;import com.fasterxml.jackson.databind.ObjectMapper;import org.apache.kafka.clients.producer.ProducerInterceptor;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.clients.producer.RecordMetadata;im
原创
发布博客 2020.10.09 ·
400 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

kafka集群性能的OS参数

1 文件描述符kafka读写磁盘会频繁的创建并修改文件系统中的文件,主要有下面3类日志文件索引文件元数据文件一个broker需要控制的文件数 近似 等于(一个topic分区大小/ 分区段文件大小 ) * 3 * 所有topic分区数总和比如一个partition(topic 分区) 大小为200G, 一个partition segment(分区段文件)大小为10G, 并且该broker上面有100个topic分区则 该broker上面需要维护的文件个数为 (200 /..
原创
发布博客 2020.10.08 ·
398 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

kafka 生产消费性能测试

生产数据压力测试kafka-producer-perf-test.sh 脚本命令的参数为:--topic topic名称,比如test--num-records 总共需要发送的消息数,比如为1000000--record-size 每个记录的字节数,比如1000--throughput 每秒钟发送的最大记录数,比如20000--producer-props bootstrap.servers=kafka-01:9092,kafka-02:9092,kafka-03:9092 发送端的配置信息,
原创
发布博客 2020.10.08 ·
1851 阅读 ·
0 点赞 ·
1 评论 ·
3 收藏

linux下查看磁盘文件系统的多种方式

df -T 只可以查看已经挂载的分区和文件系统类型。[root@hadoop001 ~]# df -T文件系统 类型 1K-块 已用 可用 已用% 挂载点devtmpfs devtmpfs 32852012 0 32852012 0% /devtmpfs tmpfs 32863208 0 3286320
原创
发布博客 2020.10.08 ·
11127 阅读 ·
2 点赞 ·
0 评论 ·
17 收藏

非递归方法求解二叉树最大深度

题目给定一个二叉树,找出其最大深度。二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。说明:叶子节点是指没有子节点的节点。示例:给定二叉树 [3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7返回它的最大深度3 。分析使用递归,很容易写出该求解算法,思路也简单,就是左子树和右子树高度,取两者最大,然后在此基础上加1即可,如下图所示,差不多1到2行代码。 public in...
原创
发布博客 2020.09.30 ·
2832 阅读 ·
3 点赞 ·
0 评论 ·
7 收藏
加载更多