自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Ran

夜尽天明

原创 centos7离线安装软件和软件包组

在一个只有内网的服务器中安装软件包组

2019-01-25 13:04:58 4091 0

原创 airflow整体架构

run命令运行过程 读取dag文件生成task依赖关系,然后生成封装airflow run的command命令,通过celery发送到executor端,重新执行该airflow run命令。 scheduler命令运行过程: 调度器通过SchedulerJob类run方法执行整个流程,包括使用多...

2018-10-29 16:01:06 2846 1

原创 spark2.1源码分析4:spark-network-common模块的设计原理

spark-network-common模块的设计原理一

2017-09-28 13:27:01 829 0

原创 Springboot jar包外指定配置文件及原理

Springboot jar包外指定配置文件及原理

2017-09-12 19:49:31 9354 0

原创 spark2.1源码分析3:spark-rpc如何实现将netty的Channel隐藏在inbox中

spark2.1源码分析3:spark-rpc如何实现将netty的Channel隐藏在inbox中

2017-03-07 16:15:59 875 0

原创 spark2.1源码分析2:从SparkPi分析一个job的执行

spark2.1源码分析2:从SparkPi分析一个job的执行

2016-12-22 16:40:40 866 0

原创 spark2.1源码分析1:Win10下IDEA源码阅读环境的搭建

spark2.1源码分析:Win10下源码阅读环境的搭建

2016-12-22 16:06:24 4973 4

原创 IDEA2016 maven项目配置Junit

IDEA2016 maven项目配置Junit

2016-07-19 15:09:34 6480 0

原创 Window10下安装sbt

Window10下安装sbt

2016-04-16 09:40:45 1803 0

原创 impala daemon启动失败

impala daemon启动失败

2016-04-07 18:18:20 2526 0

原创 编译CDH的spark1.5.2

编译CDH的spark1.5.2

2016-04-02 09:08:29 1032 0

原创 搭建sparksql的hive测试环境

搭建sparksql的hive测试环境

2016-03-31 15:59:15 1248 0

转载 HBase配置性能调优

HBase配置性能调优

2016-03-15 21:15:03 1084 0

原创 spark streaming检查点使用

spark streaming检查点使用

2016-03-15 21:13:11 2292 0

原创 spark streaming的有状态例子

spark streaming的有状态例子

2016-03-15 21:10:24 1861 0

原创 hue中使用oozie的workflow执行mr

hue中使用oozie的workflow执行mr

2016-03-15 21:07:34 5786 9

原创 sqoop导出mysql数据进入hive错误

sqoop导出mysql数据进入hive错误

2016-03-15 21:00:19 631 0

原创 由于ip改变重新配置CM集群

由于ip改变重新配置CM集群

2016-03-15 20:54:11 917 0

转载 非mapreduce生成Hfile,然后导入hbase当中

非mapreduce生成Hfile,然后导入hbase当中

2016-03-05 11:53:34 683 0

原创 spark streaming插入hbase

spark streaming插入hbase

2016-03-05 11:12:54 3464 1

原创 scala使用hbase新api

scala使用hbase新api

2016-03-05 11:09:44 7632 0

原创 IDEA15使用maven编译scala和java

IDEA15使用maven编译scala和java

2016-03-05 11:07:13 1734 0

原创 IDEA非sbt下spark开发

IDEA非sbt下spark开发

2016-03-05 11:04:28 677 0

原创 CM添加kafka服务

CM添加kafka服务

2016-02-27 11:22:39 3002 0

原创 flume整合kafka

flume整合kafka

2016-02-27 11:09:16 506 2

原创 flume 读取tcp写到hdfs

flume 读取tcp写到hdfs

2016-02-27 11:06:13 1827 0

原创 spark-shell和scala错误

spark-shell和scala错误

2016-02-27 10:50:34 2333 0

原创 Spark SQL Example

Spark SQL Example

2016-02-27 10:44:35 1356 0

原创 CM给hive添加自定义jar包

CM给hive添加自定义jar包

2016-02-27 10:31:06 2124 0

原创 ubuntu14.04计划任务无法执行

ubuntu14.04计划任务无法执行

2016-02-27 10:28:48 1976 0

原创 通过创建临时表合并某一个库的hive小文件

通过创建临时表合并hive小文件

2016-02-27 10:19:48 2076 0

原创 sqoop job命令自动生成

sqoop job命令自动生成

2016-02-27 10:13:25 1949 0

原创 在脚本中刷新impala元信息

在脚本中刷新impala元信息

2016-02-27 10:05:40 2837 1

原创 不同hadoop集群之间迁移hive数据

不同hadoop集群之间迁移hive数据

2016-02-27 10:03:24 9502 0

原创 解决sqoop需要输入密码的问题

解决sqoop需要输入密码的问题

2016-02-27 09:59:12 2662 0

原创 java通过jdbc连接impala

java通过jdbc连接impala

2016-02-27 09:46:59 26207 12

原创 hive基本操作

hive基本操作

2016-02-20 11:15:52 1024 0

原创 python3基础操作

python3基础操作

2016-02-20 11:14:48 530 0

原创 ubuntu14.04网络设置

ubuntu14.04网络设置

2016-02-20 11:13:24 1134 0

原创 mac配置impala odbc

mac配置impala odbc

2016-02-20 11:10:44 2014 5

提示
确定要删除当前文章?
取消 删除