2017年12月_qq_26369213

原创 hive中使用HQL实现wordcount

1、使用一张表，记录文件数据，文件的一行就是表里一个字段的数据，所以使用换行符作为分隔符，并以文件名为分区drop table file_data;create table file_data(context string) partitioned by (file_name string)row format delimited fields terminated by '\n'stored a...

2017-12-30 23:50:12 460

原创 hive 1.1.0搭建

系统：centOS6.5 x86_64hive版本：apache-hive-1.1.0-cdh5.7.0JDK版本：1.71、下载cdh版本的hivehttp://archive.cloudera.com/cdh5/cdh/5/2、解压、配置环境变量tar -zxvf apache-hive-1.1.0-cdh5.7.0-bin.tar.gzvi /etc/profileexport HIVE_H...

2017-12-30 22:35:26 974

原创 hadoop伪集群模式部署

系统：centOS6.5 x86_64hadoop版本：hadoop-2.6.0-cdh5.7.0JDK版本：1.7参考网址：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html1、下载cdh版本的hadoophttp://archive.cloudera.com/cdh...

2017-12-28 20:46:53 203

原创 Hadoop源码编译

系统：centOS 6.5-x86_64Hadoop版本：hadoop-2.8.11、下载hadoop源码，如果官网没有对应的版本，可以选择去github下载。http://hadoop.apache.org/releases.htmlhttps://github.com/apache/hadoop2、准备编译环境下载好源码后，解压后先修改解压文件的

2017-12-28 20:18:15 177

原创 HDFS客户端上传文件流程

HDFS读文件流程（上传文件） 1 客户端与nameNode通讯 1.1 客户端像nameNode发送上传文件请求。 1.2 nameNode返回响应，允许客户端上传文件。 1.3 客户端根据配置（dfs.blocksize - 块大少、hadoop 2.x 默认为128M）将文件切成N个block。 1.4 客户端向nameNode发出RPC请求上传第一个block，

2017-12-24 17:37:16 5280

原创 hdfs简单介绍

1. HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据2. HDFS的概念和特性首先，它是一个文件系统，用于存储文件，通过统一的命名空间——目

2017-12-22 23:11:51 310

原创 VMware中centOS配置静态IP

centOS配置静态IP为什么要设置静态IP？因为虚拟机默认是使用动态获取IP的，而在hadoop中，IP可以说是在配置文件中写死（这里所指的是集群模式下，非伪集群模式下在配置文件中配置localhost 127.0.0.1）。1、关闭windos7防火墙 2、关闭centOS防火墙 service iptables stop -- 关闭防火墙chkconfig iptables off – ...

2017-12-17 21:48:46 208

然然然星人的博客