风起于青萍之末

https://lusyoe.github.io/

Oozie工作流之理论篇

Oozie工作流之理论篇简介Apache Oozie 是一个面向Hadoop平台的工作流引擎框架。它能够提供对Hadoop Mapreduce、Pig Jobs、Spark、Sqoop、Hive的任务调度与协调。Oozie工作流是放置在控制依赖DAG(有向无环图Direct Acyclic Gra...

2017-04-27 22:50:05

阅读数:759

评论数:0

CentOS 7 编译安装Python2.6.1

编译安装步骤很简单,如下:# wget https://www.python.org/ftp/python/2.6.1/Python-2.6.1.tgz # tar zxvf Python-2.6.1.tgz # cd Python-2.6.1 # ./configure --prefix=/us...

2017-04-16 18:22:29

阅读数:3327

评论数:0

HDP 2.5集成Sqoop2

前言HDP 2.5默认只有Sqoop 1,而sqoop 1只有客户端,没有服务端,也不能通过Java Api来进行操作,所以需要集成一下Sqoop2,其实这里我们只需要启动Sqoop2的Server端即可。环境 CentOS 7.x HDP 2.5 JDK 1.8 Sqoop1.99.7 注:sq...

2017-04-09 22:45:27

阅读数:835

评论数:0

HDP错误汇总

前言上一篇《HDP 2.5安装搭建部署》主要写了一些关于安装的步骤,但不是每次都能顺利的安装成功了,不可避免总是会报很多错误,这里总结一些错误的解决方法。MySQLmysql数据库驱动找不到错误 以下命令默认以root用户运行# yum install mysql-connector-java ...

2017-04-08 23:11:04

阅读数:648

评论数:0

HDP 2.5安装搭建部署

前言HDP 全称Hortonworks Data Platform (HDP),是Hortomworks公司提供的一个大数据平台,它整合了开源hadoop生态圈的大部分组件,能够很简单便捷的帮助我们搭建起Hadoop大数据集群环境,与此类似的还有CDH(Cloudera Hadoop)。因最近在公...

2017-04-07 00:58:27

阅读数:7402

评论数:0

CentOS 7 安装MySQL 5.7

前言我个人是比较喜欢Debian,但是由于公司都是用的CentOS的,没办法只能熟悉下CentOS了。今天安装个MySQL数据库,居然踩了好几个坑。在此记录一下。安装环境标题就是,不多说。直接安装,可以使用官方的rpm包离线安装,也可以通过yum来进行在线安装,这里我先使用的是yum的在线安装。 ...

2017-04-02 19:48:22

阅读数:430

评论数:0

使用Nginx反向代理Jenkins

备忘:location / { proxy_pass http://127.0.0.1:8080; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; ...

2017-04-02 17:32:01

阅读数:936

评论数:0

Linux应用篇之autofs

前言在Linux系统中,mount是用来挂载文件系统的,可以在系统启动的时候挂载也可以在系统启动后挂载。对于本地固定设备,如硬盘可以使用mount挂载;而光盘、软盘、NFS、SMB等文件系统具有动态性,即需要的时候才有必要挂载。光驱和软盘我们一般知道什么时候需要挂载,但NFS和SMB共享等就不一定...

2017-04-02 15:58:35

阅读数:1718

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭