大鹏的专栏

Hive的存储是建立在Hadoop文件系统之上的。Hive本身没有专门的数据存储格式，也不能为数据建立索引，用户可以自由地组织Hive中的表，只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符就可以解析数据了。 Hive中主要包含四类数据模型：表（Table）、外部表（External Table）、分区（Partition）和桶（Bucket）。 Hive中每个分区都对应数据库中相应

通过重写FileInputFormat类下的getSplits方法实现自定义格式分隔文件。XmlInputFormat类package boa.hadoop.xml;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configurat

查看文件列表： sh hadoop fs -ls -R hdfs://master:9000/output上传文件： sh hadoop fs -put file:///home/dragon1/workspace_develop/input.txt hdfs://master:9000/input.txt显示文件： sh hadoop fs -cat hdfs://maste

安装JAVAtar -xvf /opt/java/jdk-8u71-linux-x64.tar.gz /opt/java/jdk1.8.0_71增加环境变量vim /etc/profile 修改profile 最后面加入 export JAVA_HOME=/opt/java/jdk1.8.0_71 export CLASSPATH=.:JAVAHOME/jre/lib/rt.

问题：执行“sudo -u hdfs hadoop fs -ls -R“　报告错误：“ls: `.’: No such file or directory“ 解决办法：http://stackoverflow.com/questions/28241251/hadoop-fs-ls-results-in-no-such-file-or-directory

许久不用，忘记，免得再忘，特记之。全局设置 主节点设置： 从节点设置：启动hadoop、spark：从节点１启动情况：从节点２启动情况：

Google Dremel 原理 - 如何能3秒分析1PBhttp://www.360doc.com/content/12/0824/15/11586_232093513.shtmlhttp://www.yankay.com/google-dremel-rationale/Google后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremelhttp

http://blog.csdn.net/hitwengqi/article/details/8008203

hadoop pseudo distributed mode系统环境No LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 18.10Release: 18.10Codename: cosmic先决条件jdk-8。jdk-12试过后不可以，缺一些包。sshpdshsudo apt ...