应用
dabokele
这个作者很懒,什么都没留下…
展开
-
ELK平台的搭建
本文主要介绍了日志分析ELK集群的搭建过程原创 2016-06-26 23:05:36 · 21616 阅读 · 1 评论 -
hive元数据库表分析及操作
本文分析hive的元数据作用、配置,元数据库表结构、功能以及对元数据的直接查询原创 2016-06-12 22:59:57 · 19800 阅读 · 0 评论 -
Hadoop2动态调整Log级别-以datanode的heartbeat log为例
调整hadoop2中datanode进程的日志级别原创 2016-08-17 18:09:43 · 3435 阅读 · 0 评论 -
Kafka系列之-自定义Producer
Kafka自定义Producer以及Partitioner,并对Producer进行一定的封装。原创 2016-08-15 23:37:49 · 23530 阅读 · 1 评论 -
Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用
调用封装好的Producer,结合Kafka监控工具KafkaOffsetMonitor的使用与分析。原创 2016-08-30 22:51:47 · 42186 阅读 · 13 评论 -
Azkaban-2.5及Plugins的安装配置
Azkaban-2.5.0及插件安装配置原创 2016-08-17 23:00:42 · 10232 阅读 · 4 评论 -
Sqoop-1.4.6 Merge源码分析与改造使其支持多个merge-key
从源代码上分析sqoop merge工具,并将其改造成可以支持多个merge字段的形式。原创 2016-08-23 23:22:50 · 5733 阅读 · 1 评论 -
IntelliJ IDEA在Local模式下Spark程序消除日志中INFO输出
在使用Intellij IDEA,local模式下运行Spark程序时,会在Run窗口打印出很多INFO信息,辅助信息太多可能会将有用的信息掩盖掉。如下所示 要解决这个问题,主要是要正确设置好log4j文件,本文主要分析如何在local模式下,将Spark的INFO信息隐藏,不影响程序中的结果输出。1、将spark根目录下的log4j.properties文件复制到Intellij IDE原创 2016-09-20 20:47:25 · 17968 阅读 · 12 评论 -
Linux Shell编程参考大全
本文记录Linux Shell编程中常用基本知识,方便快速入门以及查询使用。原创 2016-12-29 23:43:12 · 15617 阅读 · 0 评论 -
Spark SQL中的broadcast join分析
本文分析Spark-1.6.2中大小表join时的broadcast机制。分析源码执行逻辑,并且对源码进行一定的调整。原创 2017-03-25 21:34:57 · 30090 阅读 · 2 评论 -
IDEA中运行KafkaWordCount程序
1,从spark的example中找到KafkaWordCount.scala文件复制到idea编辑器中,引入包:2,编辑configuration, (1)KafkaWordCountProducer 选择KafkaWordCount.scala中的KafkaWordCountProducer方法 VM options 设置为:-Ds原创 2015-09-24 10:31:49 · 2936 阅读 · 2 评论 -
Mathjax公式教程
一般公式分为两种形式,可以理解为一种特殊的代码块,这是行内公式:$ \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. $这是行内公式:Γ(z)=∫∞0tz−1e−tdt.Γ(z)=∫0∞tz−1e−tdt. \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. 这是块公式$$\Gamma(z) = ...原创 2018-03-16 09:36:30 · 35010 阅读 · 4 评论 -
Linux命令行快捷键
1,ctrl + a 跳至第一个字母,相当于home2,ctrl + e 跳至最后一个字母,相当于end3,ctrl + u 删除此处至最前面所有字符4,ctrl + k 删除此处至末尾所有字符5,ctrl + w 删除此处至左边单词(即到左边第一个空格为止)6,ctrl + d 删除当前选中字符7,c原创 2015-09-24 10:42:21 · 909 阅读 · 0 评论 -
Spark1.4从HDFS读取文件运行Java语言WordCounts并将结果保存至HDFS
习惯印象笔记客户端记录的方便。想想这几天搭建Spark环境,分析spark运行过程,分析程序编写过程的迷茫,记录一篇从Hadoop2.4.0 HDFS系统中读取文件,并使用java语言编译运行的WordCount过程与大家分享吧。本次实验相关信息如下:操作系统:Ubuntu 14Hadoop版本:2.4.0Spark版本:1.4.0运行前提是Hadoop和Spark均已正确安装原创 2015-07-16 15:34:35 · 7257 阅读 · 0 评论 -
Spark程序开发-环境搭建-程序编写-Debug调试-项目提交
1,使用IDEA软件进行开发.在idea中新建scala project, File-->New-->Project.选择Scala-->Scala2,在编辑窗口中完成WordCount程序的编写,完整程序如下:object WordCount { def main(args: Array[String]) { val conf = new Spark原创 2015-09-24 10:33:16 · 1785 阅读 · 0 评论 -
Hive drop table卡住的问题
在hive中,show tables,create 等命令能正常执行,删除表drop table x时,会出现卡住的现象.进入mysql,show variables like 'char%'可以看到按理说是正确的.后面发现,是在建好hive数据库后,没有第一时间将character_set_database编码由utf8修改为latin1.而是去h原创 2015-09-24 10:04:25 · 8646 阅读 · 0 评论 -
Spark Streaming + Flume整合官网文档阅读及运行示例
1,基于Flume的Push模式(Flume-style Push-based Approach) Flume被用于在Flume agents之间推送数据.在这种方式下,Spark Streaming可以很方便的建立一个receiver,起到一个Avro agent的作用.Flume可以将数据推送到改receiver.1),需求从集群中选择一台机器,当Flu原创 2015-09-23 15:56:30 · 2905 阅读 · 0 评论 -
安装配置Kafka
1,下载kafka安装包,解压缩,tar -zxvf kafka_2.10-0.8.2.1.tgz2,修改/etc/profile文件,增加KAFKA_HOME变量3,进入KAFKA_HOME/config目录(1)修改server.properties文件broker.id=0host.name=master(在slave1中,master-->slave原创 2015-09-24 10:06:16 · 811 阅读 · 0 评论 -
Ubuntu文件中文乱码
如图,该文件在gedit打开中文显示正常在命令行中用vim打开,显示内容如下:使用命令进行编码转换iconv -f gbk -t utf8 ./SogouQ.mini > ./sougou.data转换后vim中显示正常原创 2015-09-24 10:10:45 · 1270 阅读 · 0 评论 -
Ubuntu14.04安装配置Chrome浏览器
1.获取软件32位版本: wget https://dl.google.com/linux/direct/google-chrome-stable_current_i386.deb64位版本: wget https://dl.google.com/linux/direct/google-chrome-stable_curren原创 2015-09-24 10:14:58 · 2447 阅读 · 0 评论 -
Linux中的查找命令find
原文:http://blog.csdn.net/windone0109/article/details/2817792查找目录:find /(查找范围) -name '查找关键字' -type d查找文件:find /(查找范围) -name 查找关键字 -print 如果需要更进一步的了解,可以参看Linux的命令详解。这里摘抄如转载 2015-09-24 10:15:43 · 516 阅读 · 0 评论 -
Ubuntu中firefox设置成中文
进入http://ftp.mozilla.org/pub/mozilla.org/firefox/nightly按版本选择下去,帮助(help)-->关于,查看浏览器的版本号所以,目录是35.0.1-candidates/build1/linux-i686/xpi/选择其中的zh-CN.xpi,点击安装,重启火狐后,火狐就是中文界面了参考网站:h原创 2015-09-24 10:16:27 · 5779 阅读 · 0 评论 -
Ubuntu14.04安装配置星际译王词典
参考自:http://m.blog.csdn.net/blog/u014731529/25917149平常总会遇到一些不认识的单词,汉字等等。一直使用Chrome 浏览器的翻译插件,不过插件的翻译总是那么简单,复制了去查又太麻烦了。于是,就在软件中心找到了星际译王,装完我立马感觉到了译王的强大! 星际译王有N多的词典,并且支持屏幕取词翻译,还有很多我还没原创 2015-09-24 10:17:37 · 1015 阅读 · 0 评论 -
Sql表注释
1 创建表的时候写注释create table test1( field_name int comment '字段的注释')comment='表的注释'; 2 修改表的注释alter table test1 comment '修改后的表的注释'; 3 修改字段的注释alter table test1 modify column field_name int comment原创 2015-09-24 10:19:21 · 2410 阅读 · 0 评论 -
Spark1.4从HDFS读取文件运行Java语言WordCounts
Hadoop:2.4.0Spark:1.4.0Ubuntu 14.01、首先启动Hadoop的HDFS系统。 HADOOP_HOME/sbin/start-dfs.sh2、在Linux中生成一个文件test.txt,保存在/home/testjars/目录下3、通过hadoop fs -put命令上传 hadoop fs -put原创 2015-09-24 10:22:41 · 2833 阅读 · 0 评论 -
IDEA中运行DirectKafkaWordCount程序
1,将SPARK_HOME中的DirectKafkaWordCount程序复制到idea中.2,由于在KafkaWordCount中已引入相关jar包,此步可略过3,配置configurations参数 关于program arguments参数,程序中定义如下:/** * Consumes messages from one or more topics原创 2015-09-24 10:30:31 · 2010 阅读 · 0 评论 -
饿了么大数据离线计算引擎实践
本文基于DBAPlus社群线上分享整理,原创首发于https://mp.weixin.qq.com/s/3KRNJhX5cfDseIMTlX4U9Q一、背景 饿了么BDI-大数据平台研发团队目前共有20人左右,主要负责离线&实时 Infra 和平台工具开发。其中6人的离线团队需要维护大数据集群规模如下,Hadoop集群规模1300+HDFS存量数据40+PB,Read...原创 2018-05-29 21:02:04 · 7774 阅读 · 1 评论