汐 朔

背景利用ambari搭建的新环境，跑数据出现了不少问题，但如下问题困扰了很长时间，直到今天才得以解决，每次报错。按照网上的各种方式都不行。我知道问题点肯定在spark2.3.1 集成hive3.1.0的版本问题上，因为hive3.1.0新增了很多功能，如事务等，发布时间没有长时间的积累，出问题很容易不受控制。环境采用ambari2.7.1 + spark2.3.1 + hadoop3.1.1 + hive3.1.0scala2.11.8, jdk1.8代码// 可以正常打印

HBase集群搭建Java版本：jdk1.7.0_51，已经安装了。Hadoop版本：hadoop-1.1.2，已经安装部署了。zookeeper版本：zookeeper-3.4.5，已经安装部署了。hbase版本：hbase-0.94.7-security主节点(HMaster)：Master.Hadoop从节点(Region Server)：Slave1.Hadoop、

[HBase] ERROR:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing             转自：http://blog.csdn.net/mango_song/article/details/8505535 mango@master:~/hadoop-1.0.4

对于REST中无状态(stateless)的一点认识 转自：http://developer.51cto.com/art/200906/129424.htm 在请求中传递SessionID被普遍认为是unRESTful的，而将用户的credentials包含在每个请求里又是一种非常RESTful的做法。这样一个问题经常会造成困扰。本文就REST的一些概念进行了探讨，解释

Google_三大论文中文版(Bigtable、 GFS、 Google MapReduce)http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126  做个原版地址链接： http://labs.google.com/papers/gfs.html

hadoop集群监控工具Apache Ambari安装配置教程Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。Ambari向Hadoop MapReduce、HDFS、 HBase、Pig, Hive、HCatalog以及Zookeeper提供服务。最近准备装ambari，在网上找了许久，没找到比较

Hive的安装和配置详解转自：http://hi.baidu.com/loveq369/item/55a9aba1c3b1effe15329b85一直使用别人装好的Hive，想自己安装个Hive，在网上找了很多配置文档，都写的太简单了，于是自己摸索了下，记录在这里。1. 安装Hive之前必须先安装好Hadoop，单机的或者集群都可以。　 因为Hive是基于hadoop的，它

目录业务背景优化策略方案一方案二业务背景extract_trfc_page_kpi的hive sql如下：set mapred.job.queue.name=pms;set hive.exec.reducers.max=8;set mapred.reduce.tasks=8;set mapred.job.name=extract_trfc_page_kpi;insert overw...

目录背景安装前准备查看集群环境并确定服务安装位置查看centos系统版本安装依赖包配置cloudera-kudu.repo源安装kudu-master修改配置启动安装kudu-tserver修改配置启动界面结论背景1、网上找了很多资料，所有的安装Kudu的教程都是从cloudera-kudu（即CDH-kudu），而我们公司及身边的朋友基本也没用CDH版的，而且是用的apache hadoop...

Hadoop 伪分布模式下关机后，fs端口连接不上问题解决方案     转自：http://blog.csdn.net/tiefanhe/article/details/9445715         总是报出异常如下所示：13/07/24 09:14:24 INFO ipc.Client: Retrying connect to server: localhost/127.0

重启机房服务器后，IP变了。用./start-hbase.sh启动HBase后，执行hbase shell，出现如下情况[root@localhost bin]# hbase shellHBase Shell; enter 'help' for list of supported commands.Version: 0.20.6, rUnknown, Thu Oct 28 19:02:

一、zookeeper-3.4.5集群的配置1 、服务器介绍三台服务器 分别是 Master.Hadoop、Slave1.Hadoop、Slave2.Hadoop、Slave3.Hadoop其中Hadoop 的NameNode 部署在 Master.Hadoop上使用的 hadoop用户：由root用户创建useradd hadoop2、下载对应版本的zookeep

[hadoop@Master ~]$ hadoop dfs -lsls: Cannot access .: No such file or directory.[hadoop@Master ~]$ hadoop dfs -put /input input: File /input does not exist.[hadoop@Master ~]$ hadoop dfs -l

import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class MakeDir { public static void main(Stri

[hadoop@Master ~]$hadoop namenode -format14/02/04 23:49:36 INFO namenode.NameNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting NameNodeSTA

测试版本：hadoop0.20.2[hadoop@Master ~]$ start-all.sh starting namenode, logging to /usr/hadoop/bin/../logs/hadoop-hadoop-namenode-Master.Hadoop.out/usr/hadoop/bin/hadoop-daemon.sh: line 117: /us

转自：http://blog.csdn.net/ningguixin/article/details/7834371[root@web-server php]# /etc/init.d/httpd restartshell-init: error retrieving current directory: getcwd: cannot access parent directories

HDFS命令  HDFS文件操作命令1、列出HDFS文件bin/hadoop dfs -ls在HDFS中未带参数的-ls命令没有返回任何值，它默认返回HDFS的“home”目录下的内容，在HDFS中，没有当前目录这一概念，也没有cd命令。2、列HDFS目录下某个文档中的文件bin/hadooop dfs -ls in3、上传文件到

Hadoop 在格式化 namenode 时出现以下问题:转自：   http://www.oschina.net/question/815959_76093 格式化仍输出如下： hadoop@ubuntu :~$ hadoop namenode -format^[[3~12/10/24 16:51:41 INFO namenode.NameNode: STARTUP_

hadoop程序问题：java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///  2013-04-08 20:48:26|  分类：hadoop大数据处理 |  标签：hadoop大数据处理  java学习进阶  转载  |举报|字号 订阅Java代码如下：Fil

[hadoop@Master ~]$ hadoop dfsadmin -reportreport: org.apache.hadoop.security.AccessControlException: Superuser privilege is required[hadoop@Master ~]$ stop-all.sh no jobtracker to stop192.