自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Ganymede的Hadoop世界

Hadoop Spark Storm技术应用

原创 Spark作业优化总结

Spark作业优化总结,针对Spark-Streaming作业,针对 Shuffle的优化

2016-04-26 00:00:34 1739

原创 Spark配置文件详解

Spark配置文件详解

2016-03-19 13:29:30 2364 1

原创 基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程

基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程

2016-02-28 22:28:33 16255 5

原创 Linux下安装mysql-8.0.15

1、下载安装文件wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.15-linux-glibc2.12-x86_64.tar.xz2、解压安装文件tar xf mysql-8.0.15-linux-glibc2.12-x86_64.tar.xz迁移至 /usr/local/mysql 目录下3...

2019-04-14 19:25:53 2151

原创 检查hdfs块的块——工具fsck(file system check)

hadoop集群运行过程中,上下节点是常有的事情,如果下架节点,hdfs存储的块肯定会受到影响。如何查看当前的hdfs的块的状态hadoop1.x时候的命令,hadoop2.x也可使用:hadoop fsck /在hadoop2.0之后,可以使用新命令:hdfs fsck /返回结果截图如下:参数说明:Total size : hdfs集群存储大小,不包括复...

2018-08-24 14:33:45 3961

原创 配置linux下的limits.conf的说明

配置linux下的limits.conf的说明

2017-10-05 16:26:43 4687

原创 Presto常用配置详细

Presto常用配置详细

2017-07-03 21:02:07 3831

原创 基于Zookeeper的分布式锁实现

基于Zookeeper的分布式锁实现

2017-06-29 00:29:03 772

原创 Nginx安装与负载均衡配置

Nginx安装与负载均衡配置

2017-06-24 19:55:39 1734

原创 CentOS6.x安装Postgresql9.6

CentOS6.x安装Postgresql9.6

2017-05-17 01:35:52 1882

原创 CentOS 6.x下离线安装apache2.4

CentOS 6.x下离线安装apache2.4

2017-05-04 20:08:05 1964

转载 Linux流量监控工具 - iftop (最全面的iftop教程)

Linux流量监控工具 - iftop (最全面的iftop教程)

2017-04-18 09:24:19 754

原创 Kafka基础操作命令

Kafka基础操作命令

2017-04-11 14:21:45 949

原创 HDFS创建快照备份数据

HDFS创建快照备份数据

2017-04-10 20:34:15 1141

原创 mysql创建索引

mysql创建索引

2017-04-10 14:01:59 396

原创 【解决】hive跑批后presto未同步源数据的问题

【解决】hive跑批后presto未同步源数据的问题

2017-04-06 17:56:59 1905

原创 maven打包跳过测试

maven打包跳过测试

2017-03-27 17:54:22 652

原创 [解决]Hive执行语句:Unable to create temp file for insert values Expression of type TOK_FUNCTION not suppor

[解决]Hive执行语句异常:Unable to create temp file for insert values Expression of type TOK_FUNCTION not suppor

2017-03-21 15:50:05 7822

原创 大数据SQL交互查询 presto/spark/mapreduce 计算引擎对比

大数据SQL交互查询 presto/spark/mapreduce 计算引擎对比

2017-03-16 19:20:39 2794

原创 presto使用技巧

presto使用技巧

2017-03-10 20:31:51 2235

原创 【解决】ssh: connect to host slave port 22: Connection timed out的问题

【解决】ssh: connect to host slave port 22: Connection timed out的问题

2017-03-10 16:16:00 23211 2

原创 [解决]presto查询中The node may have crashed or be under too much load.的问题

[解决]presto查询中The node may have crashed or be under too much load.的问题

2017-03-08 13:29:22 1188

原创 hive修改表/视图的注释

hive修改表/视图的注释

2017-02-25 16:31:44 8607

转载 Presto 来自Facebook的开源分布式查询引擎

Presto 来自Facebook的开源分布式查询引擎

2017-02-04 17:05:48 588

原创 Linux查找当前目录下的文件

Linux查找当前目录下的文件

2017-02-04 11:23:08 705

转载 [解决]/bin/bash^M: bad interpreter: No such file or directory

[解决]/bin/bash^M: bad interpreter: No such file or directory

2017-01-06 09:46:44 3756 1

原创 Scala语法中的协变与逆变

Scala语法中的协变与逆变

2016-12-21 22:52:15 1010

原创 Linux查看硬件基本信息

Linux查看硬件基本信息

2016-12-21 14:50:46 580

原创 Linux下打包压缩文件

Linux下打包压缩文件

2016-12-20 21:55:57 378

原创 查看Linux下IO使用

查看Linux下IO使用

2016-12-14 17:08:59 640

原创 解析Mysql执行语句并优化

解析Mysql执行语句并优化

2016-12-14 17:02:09 303

原创 yum安装phpMyAdmin

yum安装phpMyAdmin

2016-12-08 18:43:01 1048

原创 Linux创建用户并分配用户组

Linux创建用户并分配用户组

2016-12-08 18:37:28 2085

原创 hive使用技巧(五)—— 一行转多行,多行转一行

hive使用技巧(五)—— 一行转多行,多行转一行

2016-12-02 17:09:02 15518

原创 基于maven配置jetty运行

基于maven配置jetty运行

2016-11-28 22:50:42 465

原创 Apache负载均衡配置详解

Apache负载均衡配置详解

2016-11-28 21:52:26 1807

转载 Hive实现从表中随机抽样得到一个不重复的数据样本

Hive实现从表中随机抽样得到一个不重复的数据样本

2016-11-02 15:15:03 10669 1

原创 Java基于AES的加密与解密

Java基于AES的加密与解密

2016-11-01 17:15:06 689

原创 Hive处理JSON字符串

Hive处理JSON字符串

2016-10-27 17:32:30 20071

原创 Apache反向代理配置

Apache反向代理配置,可以实现同台或者多台服务器间的多http服务的统一代理。

2016-10-22 13:05:32 1167

提示
确定要删除当前文章?
取消 删除