大数据学习成长之路

从hadoop基础学习到hive、sqoop、oozie、Hbase、spark等的框架实战应用。

排序:
默认
按更新时间
按访问量

linux|rpm命令安装软件包

1、cd配置centos的ISO文件 2、挂载cdrom [root@localhost Packages]# mount /dev/cdrom /media 3、利用wc统计一下rpm按照包的个数 查看某文件是否安装 [root@localhost P...

2018-05-28 16:51:25

阅读数:86

评论数:0

linux各发行版本下载地址

别乱找了6.4下载地址及其他下载地址 http://vault.centos.org/6.4/isos/x86_64/ 目前商用最多的linux发行系统是centos系统。 centos被红帽收购了。

2018-05-17 23:41:39

阅读数:329

评论数:0

Hbae批量装载(Bulk Loading)

什么是bulk load HBase 有好几种方法将数据装载到表。最直接的方式即可以通过MapReduce任务,也可以通过普通客户端API。但是这都不是高效方法。 批量装载特性采用 MapReduce 任务,将表数据输出为HBase的内部数据格式,然后可以将产生的存储文件直接装载...

2018-05-10 16:39:31

阅读数:86

评论数:0

使用importTsv完成HBase 的数据迁移

数据迁移场景举例 Hbase集群装好了,若需要往表中装数据; 数据的备份,如测试集群往生产集群上迁移。 几种HBase数据导入方式(不推荐使用) 使用Hbase Put API:例如MapReduce也是使用Put API 使用Hbase批量加载工具 自定义的MapReduce ...

2018-05-10 14:40:22

阅读数:59

评论数:0

编写MapReduce程序,集成HBase对表进行读取和写入数据

参考地址:http://hbase.apache.org/boot.html#mapreduce 导入:import org.apache.hadoop.conf.Configured; 导入:import org.apache.hadoop.util.Tool;。 三要素 创建...

2018-05-07 23:12:58

阅读数:81

评论数:0

Cloudera Hue

Hue是Cloudera开源的一个Hadoop UI,由Cloudera Desktop演化而来。面向用户提供方便的UI用于平时的Hadoop操作中。Apache Ambari面向的是管理员,用于安装、维护集群,而不是使用集群。两者针对的是不同需求。 依赖安装: “` sudo ...

2018-04-17 17:50:01

阅读数:107

评论数:0

Oozie 介绍

Hadoop 调度框架 Linux Crontab Azkaban https://azkaban.github.io/ Oozie http://oozie.apache.org/ Zeus https://github.com/michael8335/zeus2 Azkab...

2018-04-05 16:12:39

阅读数:101

评论数:0

oozie 异常

异常1 Stack trace for the error was (for debug purposes): -------------------------------------- org.apache.hadoop.ipc.RemoteException(org.apache.ha...

2018-04-05 16:11:59

阅读数:36

评论数:0

oozie安装部署

安装步骤 解压–>配置代理用户–>解压oozie依赖的hadoop包–>复制hadoop依赖包到libext目录–>把ext*.zip包放到libext中–>准备oozie的war...

2018-04-05 16:11:34

阅读数:29

评论数:0

Oozie案例运行MapReduced Workflow

解压oozie-examples.tar.gz [beifeng@hadoop-senior oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz 上传Examples The examples/ director...

2018-04-05 16:08:17

阅读数:41

评论数:0

Oozie 报错的解决方法

错误信息 org.apache.oozie.action.ActionExecutorException: Could not locate Oozie sharelib at org.apache.oozie.action.hadoop.JavaActionExecutor.add...

2018-04-05 16:07:09

阅读数:71

评论数:0

oozie工作流定义

介绍 流程定义 流程节点 启动节点 结束节点 Kill Control Node Map-Reduce Action A map-reduce action can be configured to perform file syst...

2018-04-05 16:06:49

阅读数:71

评论数:0

Oozie WorkFlow中Hive Action案例

官方地址 http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_HiveActionExtension.html 复制样例重新命名后对hive进行修改 cp -r examples/apps/hive o...

2018-04-05 16:06:18

阅读数:159

评论数:0

WorkFlow中Sqoop Action运行案例

复制样例 [beifeng@hadoop-senior oozie-4.0.0-cdh5.3.6]$ cp -r examples/apps/sqoop oozie-apps/ 样例重新命令 mv sqoop sqoop-import 复制mysql依赖包 [beif...

2018-04-05 16:04:04

阅读数:23

评论数:0

WorkFlow中Sqoop Action使用案例错误总结

job.properties 中可能出现的错误 jobTracker=hadoop-senior.beifeng.com:8032 端口错误 jobTracker的端口设置错误 8032 。表示是yarn的运行地址及端口号 oozieAppsRoot 地址错误 表示...

2018-04-05 12:48:04

阅读数:60

评论数:0

Hive的UDF编程

官方地址:https://cwiki.apache.org/confluence/display/Hive/HivePlugins什么是UDF(user-Define-Function)?用户定义的函数。查看hive自带的函数。show funtion;查询某个函数的详细使用手册desc func...

2018-03-08 17:56:20

阅读数:37

评论数:0

Hive中order by、sort by、distribute by和cluster by

Order By语法colOrder: ( ASC | DESC ) colNullOrder: (NULLS FIRST | NULLS LAST) -- (Note: Available in Hive 2.1.0 and later) orderBy: ORDER BY ...

2018-03-08 16:55:52

阅读数:67

评论数:0

Hive中数据导入导出(Import和Export)

官方文档地址:https://cwiki.apache.org/confluence/display/Hive/Home导出EXPORT将hive表中的数据导出到外部。语法:EXPORT TABLE tablename [PARTITION (part_column="value...

2018-03-08 11:59:13

阅读数:106

评论数:0

大数据||Hive中常用的查询

Hive中的查询 Select查询语法SELECT [ALL | DISTINCT] select_expr, select_expr, ...  FROM table_reference  [WHERE where_condition]  [GROUP BY col_list]  [ORDER ...

2018-03-07 00:15:45

阅读数:845

评论数:0

大数据||导出Hive表中的数据

导出Hive表中的数据方式由很多种。一下就介绍一下方式一:在hive的命令行内insert overwrite local directory '/opt/datas/hive_emp_exp' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' C...

2018-03-06 23:25:37

阅读数:418

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭