dabokele的博客

dabokele的博客

饿了么大数据离线计算引擎实践

  本文基于DBAPlus社群线上分享整理,原创首发于https://mp.weixin.qq.com/s/3KRNJhX5cfDseIMTlX4U9Q 一、背景   饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时 Infra 和平台工具...

2018-05-29 21:02:04

阅读数 3696

评论数 1

Mathjax公式教程

  一般公式分为两种形式,可以理解为一种特殊的代码块, 这是行内公式:$ \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. $ 这是行内公式:Γ(z)=∫∞0tz−1e−tdt.Γ(z)=∫0∞tz−1e−tdt. \Gamma(z) = \int_0^...

2018-03-16 09:36:30

阅读数 3306

评论数 0

Spark SQL中的broadcast join分析

本文分析Spark-1.6.2中大小表join时的broadcast机制。分析源码执行逻辑,并且对源码进行一定的调整。

2017-03-25 21:34:57

阅读数 10506

评论数 1

Linux Shell编程参考大全

本文记录Linux Shell编程中常用基本知识,方便快速入门以及查询使用。

2016-12-29 23:43:12

阅读数 11164

评论数 0

IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出

在使用Intellij IDEA,local模式下运行Spark程序时,会在Run窗口打印出很多INFO信息,辅助信息太多可能会将有用的信息掩盖掉。如下所示     要解决这个问题,主要是要正确设置好log4j文件,本文主要分析如何在local模式下,将Spark的INFO信息隐藏,不影响程序中...

2016-09-20 20:47:25

阅读数 11516

评论数 8

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

调用封装好的Producer,结合Kafka监控工具KafkaOffsetMonitor的使用与分析。

2016-08-30 22:51:47

阅读数 38838

评论数 12

Sqoop-1.4.6 Merge源码分析与改造使其支持多个merge-key

从源代码上分析sqoop merge工具,并将其改造成可以支持多个merge字段的形式。

2016-08-23 23:22:50

阅读数 4304

评论数 1

Azkaban-2.5及Plugins的安装配置

Azkaban-2.5.0及插件安装配置

2016-08-17 23:00:42

阅读数 8625

评论数 4

Hadoop2动态调整Log级别-以datanode的heartbeat log为例

调整hadoop2中datanode进程的日志级别

2016-08-17 18:09:43

阅读数 2366

评论数 0

Kafka系列之-自定义Producer

Kafka自定义Producer以及Partitioner,并对Producer进行一定的封装。

2016-08-15 23:37:49

阅读数 19603

评论数 1

ELK平台的搭建

本文主要介绍了日志分析ELK集群的搭建过程

2016-06-26 23:05:36

阅读数 20455

评论数 1

hive元数据库表分析及操作

本文分析hive的元数据作用、配置,元数据库表结构、功能以及对元数据的直接查询

2016-06-12 22:59:57

阅读数 15139

评论数 0

Linux命令行快捷键

1,ctrl + a     跳至第一个字母,相当于home 2,ctrl + e     跳至最后一个字母,相当于end 3,ctrl + u     删除此处至最前面所有字符 4,ctrl + k     删除此处至末尾所有字符 5,ctrl + w     删除此处至...

2015-09-24 10:42:21

阅读数 714

评论数 0

Spark程序开发-环境搭建-程序编写-Debug调试-项目提交

1,使用IDEA软件进行开发. 在idea中新建scala project, File-->New-->Project.选择Scala-->Scala 2,在编辑窗口中完成WordCount程序的编写,完整程序如下: object WordCoun...

2015-09-24 10:33:16

阅读数 1469

评论数 0

IDEA中运行KafkaWordCount程序

1,从spark的example中找到KafkaWordCount.scala文件复制到idea编辑器中,引入包: 2,编辑configuration,     (1)KafkaWordCountProducer     选择KafkaWordCount.scala中的KafkaWor...

2015-09-24 10:31:49

阅读数 2489

评论数 2

IDEA中运行DirectKafkaWordCount程序

1,将SPARK_HOME中的DirectKafkaWordCount程序复制到idea中. 2,由于在KafkaWordCount中已引入相关jar包,此步可略过 3,配置configurations参数   关于program arguments参数,程序中定义如下: /** * C...

2015-09-24 10:30:31

阅读数 1753

评论数 0

Spark1.4从HDFS读取文件运行Java语言WordCounts

Hadoop:2.4.0 Spark:1.4.0 Ubuntu 14.0 1、首先启动Hadoop的HDFS系统。     HADOOP_HOME/sbin/start-dfs.sh 2、在Linux中生成一个文件test.txt,保存在/home/testjars/...

2015-09-24 10:22:41

阅读数 2179

评论数 0

Sql表注释

1 创建表的时候写注释 create table test1 ( field_name int comment '字段的注释' )comment='表的注释'; 2 修改表的注释 alter table test1 comment '修改后的表的注释'; 3 修改字段的注释 alt...

2015-09-24 10:19:21

阅读数 1893

评论数 0

Ubuntu14.04安装配置星际译王词典

参考自:http://m.blog.csdn.net/blog/u014731529/25917149 平常总会遇到一些不认识的单词,汉字等等。一直使用Chrome 浏览器的翻译插件,不过插件的翻译总是那么简单,复制了去查又太麻烦了。于是,就在软件中心找到了星际译王,装完我立...

2015-09-24 10:17:37

阅读数 847

评论数 0

Ubuntu中firefox设置成中文

进入 http://ftp.mozilla.org/pub/mozilla.org/firefox/nightly 按版本选择下去,帮助(help)-->关于,查看浏览器的版本号 所以,目录是35.0.1-candidates/build1/linux-i686/xpi/ 选择其中的...

2015-09-24 10:16:27

阅读数 4923

评论数 0

提示
确定要删除当前文章?
取消 删除