Li_and_Li的博客

    最近准备学习一些大数据的入门知识，当然是从搭建环境开始了，下面我把我搭建hadoop的步骤以及遇到的一些问题写在下边。    搭建前的准备：    centos7环境    jdk环境    ssh免密登录    用户组    准备好以上几步之后就可以搭建hadoop了。    安装centos的步骤就不在这里赘述了。    jdk环境如果centos操作系统自带的话那么找到JAVA_HO...

HiveQL学习笔记1、SQL和HiveQL的概要比较 特性 SQL HiveQL 更新 UPDATA , INSERT, DELETE UPDATE, INSERT, DELETE 事务 支持 有限支持 索引 支持 支持 延迟 亚秒级 分钟级 数据类型 整数，浮点数，定点数，文本和二进制串，时间...

Hive笔记1、 Hive的shell环境hive>show tables; hive>hive –e ‘select * from dummy’ 生成简单单行表: echo ‘X’ > /tmp/dummy.txt hive –e “create table dummy(value string); load data local inpath ‘/tmp...

Hdfs笔记1、 分布式文件系统主节点：数据目录（元数据）服务 从节点：具体完成数据的存储任务 HDFS：兼容廉价的硬件设备，实现流数据读写，支持大数据集，支持简单的文件模型，强大的跨平台兼容性 HDFS局限性：不适合低延迟数据访问，无法高效存储大量小文件，不支持多用户写入以及任意修改文件。2、 HDFS相关概念快：1、为了分摊磁盘读写开销，也就是...

Sqooop学习随笔 HDFS能够可靠的存储日志和来自不同渠道的其他数据，MapReduce程序能够解析多种特定的（adhoc）数据格式1、 Sqoop允许用户将数据从结构化存储器抽取到Hadoop中。2、 Sqoop连接器Sqoop拥有一个可扩展的框架，使得它能够从（向）任何支持批量数据传输的外部存储系统导入（导出）数据。3、 文本和二进制文件格式...

Flume学习笔记本章代码链接：https://github.com/gitdreams/hadoop-book/tree/master/ch14-flume1、要想使用Flume,就需要运行Flume代理，Flume代理有持续运行的source（数据来源），sink（数据目标）以及channel（用于连接source和sink）构成的java进程。 源，水池，渠道2、事务和可靠性，...

HBase学习笔记1、 HBase特性2、 HBase访问接口3、 HBase数据模型4、 区域5、 实现6、 运行中的HBase7、 HBase shell8、 HBase和RDBMS的比较HBase学习笔记是BigTable的开源实现1、 HBase特性高可靠，高性能，面向列，可伸缩。 ...

安装和配置Hive，前提你已经成功安装和配置了Hadoop。

Hadoop on Windows Error JAVA_HOME is incorrectly set

Spark是一个开源集群运算框架，Spark在存储器内运行程序运算速度比Hadoop MapReduce的运算快100倍以上。

HBase是一个分布式的，面向列的开源数据库，是Google三大论文之一的“BigTable”的开源实现，它适合于非结构化数据存储。

我在主机上配置好hadoop之后，开启hadoop服务，在同一个局域网下的另一台主机使用eclipse连接hadoop，虽然创建连接成功，但是进行上传文件的时候会报如下错误

下载hadoop-eclipse-plugin-2.6.5.jar，并将其添加到eclipse的plugins目录下重启eclipse关闭hdfs服务器的防火墙，修改相应配置文件使之能够通过IP加端口访问在windows上下载hadoop，并解压到一个目录在window-->Preferences-->Hadoop Map/Reduce下边，选择刚刚解压的hadoop目录，提交并关闭w...

HiveQL学习笔记21、操作与函数可以在hive的shell环境中输入SHOW FUNCTIONS以获取函数列表。 例如： Hive> DESCRIBE FUNCTION length;2、表托管表和外部表 待编辑，本来在word里，但是电脑突然关机，一点也没保存下来 外部表： 丢弃外部表时，hive不会去碰数据，只会删除元数据3、分区和桶Hive...