大数据学习成长之路

1、cd配置centos的ISO文件2、挂载cdrom [root@localhost Packages]# mount /dev/cdrom /media3、利用wc统计一下rpm按照包的个数查看某文件是否安装 [root@localhost Packages]# rpm -qa | grep yp-tools 参数说明： -q 表...

别乱找了6.4下载地址及其他下载地址 http://vault.centos.org/6.4/isos/x86_64/ 目前商用最多的linux发行系统是centos系统。 centos被红帽收购了。

什么是bulk load HBase 有好几种方法将数据装载到表。最直接的方式即可以通过MapReduce任务，也可以通过普通客户端API。但是这都不是高效方法。 批量装载特性采用 MapReduce 任务，将表数据输出为HBase的内部数据格式，然后可以将产生的存储文件直接装载到运行的集群中。批量装载比简单使用 HBase API 消耗更少的CPU和网络资源。使用BU...

数据迁移场景举例Hbase集群装好了，若需要往表中装数据;数据的备份，如测试集群往生产集群上迁移。几种HBase数据导入方式(不推荐使用)使用Hbase Put API：例如MapReduce也是使用Put API 使用Hbase批量加载工具 自定义的MapReduce job 这三种方式都涉及到Put内置,大多数数据迁移场景都涉及到数据的导入(import)，从存在的...

参考地址：http://hbase.apache.org/boot.html#mapreduce导入：import org.apache.hadoop.conf.Configured; 导入：import org.apache.hadoop.util.Tool;。 三要素创建Mapper Class 创建Reducer Class 创建Driver创建Mapper...

Hue是Cloudera开源的一个Hadoop UI，由Cloudera Desktop演化而来。面向用户提供方便的UI用于平时的Hadoop操作中。Apache Ambari面向的是管理员，用于安装、维护集群，而不是使用集群。两者针对的是不同需求。依赖安装：“` sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl...

Hadoop 调度框架Linux Crontab Azkaban https://azkaban.github.io/Oozie http://oozie.apache.org/Zeus https://github.com/michael8335/zeus2Azkaban, Open-source Workflow ManagerOozie, Workfl...

异常1Stack trace for the error was (for debug purposes):--------------------------------------org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): Us...

安装步骤 解压–>配置代理用户–>解压oozie依赖的hadoop包–>复制hadoop依赖包到libext目录–>把ext*.zip包放到libext中–>准备oozie的war包–>oozie依赖包上传到HDFS系统–>创建oozie数据库–>修改oozie依赖hadoop配置文件路径–>启动oozie环境要求配置...

解压oozie-examples.tar.gz[beifeng@hadoop-senior oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz 上传Examples The examples/ directory must be copied to the user HOME directory in HDFS...

错误信息org.apache.oozie.action.ActionExecutorException: Could not locate Oozie sharelib at org.apache.oozie.action.hadoop.JavaActionExecutor.addSystemShareLibForAction(JavaActionExecutor.java:614...

介绍流程定义流程节点启动节点结束节点Kill Control NodeMap-Reduce ActionA map-reduce action can be configured to perform file system cleanup and directory creation before starting t...

官方地址http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.3.6/DG_HiveActionExtension.html复制样例重新命名后对hive进行修改 cp -r examples/apps/hive oozie-apps/mv oozie-apps/hive hive-select修改hiv...

复制样例[beifeng@hadoop-senior oozie-4.0.0-cdh5.3.6]$ cp -r examples/apps/sqoop oozie-apps/样例重新命令mv sqoop sqoop-import复制mysql依赖包[beifeng@hadoop-senior oozie-apps]$ mkdir sqoop-import/l...

job.properties 中可能出现的错误jobTracker=hadoop-senior.beifeng.com:8032 端口错误 jobTracker的端口设置错误 8032 。表示是yarn的运行地址及端口号oozieAppsRoot 地址错误 表示 在HDFS上oozie运行sqoop流程job的目录。目录前后把反斜杠都去掉。正确写法是oozieA...

官方地址：https://cwiki.apache.org/confluence/display/Hive/HivePlugins什么是UDF（user-Define-Function）？用户定义的函数。查看hive自带的函数。show funtion;查询某个函数的详细使用手册desc function extended split ; UDF几种类型UDF(User-Defined-Func...

Order By语法colOrder: ( ASC | DESC )colNullOrder: (NULLS FIRST | NULLS LAST) -- (Note: Available in Hive 2.1.0 and later)orderBy: ORDER BY colName colOrder? colNullOrder? (',' colName colOrd...