夏橙、
码龄1天
求更新 关注
提问 私信
  • 博客:24,522
    社区:1
    问答:606
    25,129
    总访问量
  • 10
    原创
  • 7
    粉丝
  • 119
    关注
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:浙江省
加入CSDN时间:
博客简介:

ewencris的博客

查看详细资料
个人成就
  • 获得8次点赞
  • 内容获得2次评论
  • 获得52次收藏
  • 博客总排名731,206名
创作历程
  • 1篇
    2020年
  • 3篇
    2019年
  • 7篇
    2018年
成就勋章
TA的专栏
  • 数据仓库
  • Hive
    1篇
  • Flink
  • Python
    1篇
  • Java
    2篇
  • Hadoop
    4篇
  • clickhouse
    2篇

TA关注的专栏 7

TA关注的收藏夹 0

TA关注的社区 4

TA参与的活动 0

兴趣领域 设置
  • 大数据
    hadoophivestormsparketl
创作活动更多

新星杯·14天创作挑战营·第13期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛!注: 1、参赛者可以进入活动群进行交流、互相鼓励与支持(开卷),虚竹哥会分享创作心得和涨粉心得,答疑及活动群请见:https://bbs.csdn.net/topics/619781944 【进活动群,得奖概率会更大,因为有辅导】 2、文章质量分查询:https://www.csdn.net/qc

75人参与 去参加
  • 最近
  • 文章
  • 专栏
  • 代码仓
  • 资源
  • 收藏
  • 关注/订阅/互动
更多
  • 最近

  • 文章

  • 专栏

  • 代码仓

  • 资源

  • 收藏

  • 关注/订阅/互动

  • 社区

  • 帖子

  • 问答

  • 课程

  • 视频

搜索 取消

clickhouse 优化

Clickhouse 优化Clickhouse堪称OLAP领域的黑马,最近发布的几个版本在多表关联分析上也有了极大的性能提升,尤其是还引入了MaterializeMySQL Database Engine做到了实时对齐业务线mysql中的数据。表优化数据类型建表时能用数值型或日期时间型表示的字段,就不要用字符串——全String类型在以Hive为中心的数仓建设中常见,但CK环境不应受此影响。虽然clickhouse底层将DateTime存储为时间戳Long类型,但不建议直接存储Long类型,因为
转载
博文更新于 2020.10.21 ·
1337 阅读 ·
0 点赞 ·
0 评论 ·
2 收藏

clickhouse之SQL语法--Functions

clickhouse之SQL语法–Functions介绍Clickhouse 中至少有2中类型的函数-正常函数(被称为 functions)和聚合函数.这两个函数完全不同。正常函数被应用到每行(对于每行,函数的结果不依赖与其他行).聚合函数从不同的行中累计相应的值(例如. 他们依赖整个行的集合). 在本章中,我们将讨论正常函数. 对于聚合函数, 查看章节"Aggregate functio...
原创
博文更新于 2019.05.20 ·
5234 阅读 ·
2 点赞 ·
0 评论 ·
3 收藏

clickhouse简单使用+函数整理

1、日期类函数2、类型转化类函数3、字符串操作4、条件语句5、数学函数6、舍入函数7、URL操作函数8、IP操作函数9、表操作10、字典操作具体参考:https://blog.csdn.net/u012111465/article/details/85250030...
原创
博文更新于 2019.05.08 ·
4712 阅读 ·
2 点赞 ·
0 评论 ·
5 收藏

python--Python脚本执行SQL

说明:在Linux写python脚本执行SQL,废话不多说,直接贴代码解释。#!/usr/bin/env python##python脚本格式,这里有一点要说明的是:#!/usr/bin/env python与#!/usr/bin/python的区别?##如下:#!/usr/bin/python 的意思是说去/usr/bin/目录下找python去执行#!/usr/bin/env pyth...
原创
博文更新于 2019.05.08 ·
3398 阅读 ·
2 点赞 ·
0 评论 ·
12 收藏

HIVE优化

Hive优化总结1、整体架构优化现在hive的整体框架如下,计算引擎不仅仅支持Map/Reduce,并且还支持Tez、Spark等。根据不同的计算引擎又可以使用不同的资源调度和存储系统。整体架构优化点:1、根据不同业务需求进行日期分区,并执行类型动态分区。相关参数设置:0.14中默认hive.exec.dynamic.partition=ture2、为了减少磁盘存储空间以及I/O次数...
原创
博文更新于 2018.12.10 ·
331 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

数据大精度之bigdecimal

BigDecimal (任意精度小数演算法)1.概述float和double类型的主要设计目标是为了科学计算和工程计算。他们执行二进制浮点运算,这是为了在广域数值范围上提供较为精确的快速近似计算而精心设计的。然而,它们没有提供完全精确的结果,所以不应该被用于要求精确结果的场合。但是,商业计算往往要求结果精确,这时候BigDecimal就派上大用场啦。先看下面的代码: public stat...
原创
博文更新于 2018.12.10 ·
368 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

YARN

YARN概念Yet Another Resource Negotiator(好吧,另一种资源协调者),作业调度和集群资源管理的框架HDFS&YARN进程通讯模型YARN程序执行流程ResourceManager有两个主要组件:Scheduler和ApplicationsManager。调度程序负责根据熟悉的容量,队列等约束将资源分配给各种正在运行的应用程序。调度程序是纯调度程序...
原创
博文更新于 2018.12.10 ·
150 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

MR优化总结

优化前1.熟知业务要求2.熟知数据分布状态(是否倾斜、是否是多个小文件等),可以使用采样来了解数据通用型优化策略1.文件存储格式使用更加优化的格式的文件,例如Parquet、ORC,综合来说,ORC最优。2.文件压缩可以在mr各阶段启用压缩,例如:数据块可以被压缩(reduce输出可以被压缩)、map输出数据可以被压缩(减少shuffle过程中传输的数据量)3.shuffle优化...
原创
博文更新于 2018.12.10 ·
2206 阅读 ·
0 点赞 ·
0 评论 ·
10 收藏

MR大体流程图

此MR程序以wordcount为例1、数据准备:如图所示,在HDFS中有一个1G的文件,HDFS中的的默认分块的大小为256M,分别存储在HDFS中的四个块中。在文件被分成块之后,不会直接被mapreduce处理。而是先由FileInputFormat进行切片。2、在MR程序运行的过程中,会生成许多MapTask程序,MapTask的数量和“分片”的数量相同,一般来说,每个分片都有一个MapT...
原创
博文更新于 2018.12.10 ·
1212 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

Java集合的继承关系图解

集合的继承关系图解集合的特点:用来存储不同类型的对象(基本数据类型除外),存储长度可变。Java集合中实际存放的只是对象的引用,每个集合元素都是一个引用变量,实际内容都放在堆内存或者方法区里面,但是基本数据类型是在栈内存上分配空间的,栈上的数据随时就会被收回的。基本类型数据如何解决呢?可以通过包装类把基本类型转为对象类型,存放引用就可以解决这个问题。更方便的,由于有了自动拆箱和装箱功能,...
原创
博文更新于 2018.11.20 ·
4708 阅读 ·
2 点赞 ·
2 评论 ·
22 收藏

7种进程名称及作用

namenode :主要是用来保存HDFS的元数据信息,比如命名空间信息,块信息等。2台,一台active,一台standby.会与zkfc通信,一旦某台namenode当掉,zkfc会与zookeeper进行通信,立即启动standby的namenode.datanode:1Data Node以数据块的形式存储HDFS文件2Data Node 响应HDFS 客户端读写请求3Da...
原创
博文更新于 2018.11.20 ·
866 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏