lzz360的专栏

如果你现在不搞电子商务,那么五年后你会后悔的

Azkaban-开源任务调度程序(安装篇)

Azkaban-开源任务调度程序(安装篇) 字数1166 阅读2318 评论2 喜欢13 最近项目迁移到新集群,试试同事推荐的开源任务调度程序-azkaban(阿兹卡班),没看错,就是哈利波特里的阿兹卡班,azikaban主要用来解决hadoop依赖任务的执行,但是它本身支持linux...

2016-08-31 19:20:04

阅读数 1194

评论数 1

Flume环境部署和配置详解及案例大全

Flume环境部署和配置详解及案例大全 投稿:hebedich 字体:[增加 减小] 类型:转载 时间:2014-08-11 我要评论 flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进...

2016-08-16 14:05:35

阅读数 510

评论数 0

spark 调试方法总结

1 日志调试 配置 log4j.properties (只显示警告信息) # log4j.rootCategory=INFO, console log4j.rootCategory=WARN, console 程序中使用logger import org.apache.log4j.Logg...

2016-08-14 17:28:09

阅读数 2156

评论数 0

spark-submit 提交作业到集群

1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artifacts ,由于集群已经有了运行依赖的jar包,打包时可以将这些jar包排除出去,以减小打包后的j...

2016-08-14 14:56:40

阅读数 4029

评论数 0

hdfs 文件权限设计

描述:有三个部门 (app开发小组,web开发小组,数据分析小组) 其中app开发小组的数据和web开发小组的数据是相互独立了,数据分析小组有权限分析来自app web两个部门的数据 步骤 1 创建组 groupadd apps groupadd webs groupadd dw(数据分析小组...

2016-08-14 11:09:34

阅读数 457

评论数 0

ubunut 挂载远程目录

1 安装sshfs sudo apt-get install sshfs fuse 2 挂载 sshfs -o idmap=user username@ip.address:/remote/file/system/ ~/remote

2016-08-13 21:43:51

阅读数 422

评论数 0

sparkStreaming+flume

spark *********************** import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.SparkConf import org.apache.sp...

2016-08-11 17:46:38

阅读数 224

评论数 0

ubuntu 环境下编译 hadoop 2.6.0的简单方法

ubuntu 环境下编译 hadoop 2.6.0的简单方法     由于服务器一般都64位系统,hadoop网站的release版本32位native库不能运行,所以需要自己在编译一下。以下是我采用的一个编译的过程,比较简单,不用下载各种版本及环境配置,通过命令就能自动完成了。...

2016-08-11 10:48:21

阅读数 222

评论数 0

Git的常用命令的使用方法和解释

常用的git命令:   add        Add file contents to the index(将文件添加到暂存区) 用法: 保存某个文件到暂缓区: git add 文件名 保存当前路径的所有文件到暂缓区: git add . (注意,最后是一个点 . ) 2...

2016-08-09 12:07:13

阅读数 237

评论数 0

ubuntu sun-pingying

Ubuntu中文输入法IBUS的安装 第一:安装IBus框架, sudo apt-get install ibus ibus-clutter ibus-gtk ibus-gtk3 ibus-qt4 启动IBus框架,在终端输入: im-switch -s ibus 安装完IBus框架后注销系统,...

2016-08-08 10:51:59

阅读数 1436

评论数 0

jupyter (ptyhon|R)

安装jupyter 1 pip install jupyter (python3+ use pip3) 2 启动 jupyter notebook 安装irkernel 支持R http://irkernel.github.io/installation/#source-panelsudo...

2016-08-07 00:18:43

阅读数 898

评论数 0

ipython+notebook

1. 环境 操作系统:ubuntu 14.04 2. 操作步骤 a)  安装pip工具 终端输入以下命令: sudo apt-get install python-pip b) 安装ipython 终端输入以下命令: sudo apt-get install ...

2016-08-05 23:23:11

阅读数 294

评论数 0

docker 使用

这篇文章介绍的很好 http://kb.cnblogs.com/page/536115/ # 安装docker sudo apt-get install docker.io # 查看帮助文档 docker # 查看我们的docker信息 docker info # 启动doc...

2016-06-30 21:55:47

阅读数 573

评论数 0

spark 读取hbase中的数据

import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.Scan import org.apache.hadoop.hbase.mapreduce.TableInputFor...

2016-06-24 15:38:59

阅读数 1782

评论数 0

R语言源码安装插件包

下载http://mirrors.ustc.edu.cn/CRAN/src/contrib/ 对应的包 然后 sudo R CMD INSTALL package.tar.gz 解压压缩包后可以找到对应函数的实现方式比如 arules_1.4-1.tar.gz cd aru...

2016-06-13 14:57:08

阅读数 1165

评论数 0

ubuntu docker 安装及简单应用

1 安装docker sudo apt-get install docker.io 2 查看帮助文档 docker 3 查看我们的docker信息 docker info 4 运行容器 * 安装容器 docker pull ubuntu:14.04 * 运行 docker ru...

2016-06-13 10:57:49

阅读数 298

评论数 0

php总结二

php 基础总结

2016-06-13 10:55:05

阅读数 229

评论数 0

r语言处理mysql数据

r语言操作mysql数据

2016-06-13 10:53:22

阅读数 1409

评论数 0

Rstudio 的安装

rstudio 安装和报错处理

2016-06-13 10:49:52

阅读数 852

评论数 0

spark rdd 操作

spark rdd 操作

2016-06-13 10:46:00

阅读数 885

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭