2017年09月_夜空07

转载 Flume架构以及应用介绍

Flume架构以及应用介绍原创 2016年05月31日 12:35:1747497 13 43

2017-09-28 16:05:56 273 1

原创 sqoop 安装和简单使用

1》SQOOP安装（hadoop 和hive 和mysql已安装好）和flume相似，要将sqoop放在active的namenode节点上下载sqoop-1.4.5-cdh5.3.6.tar.gz，解压到/opt/modules目录下tar -zxf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/modules/ 添加环境变量 vim /etc/

2017-09-26 17:02:45 613

原创 Hive简单用法总结

1》创建hive表CREATE TABLE IF NOT EXISTS employee ( id int,name String,salary String)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'STORED AS TEXTFILE;2》从本地文件加载数据到数据库(有overwrite 是重写没有overwri

2017-09-20 14:37:18 226 2

原创 Linux 安装Hive 和 mysql的增删改查

1. 下载hive-0.13.1-cdh5.3.6.tar.gz，解压 tar -zxf hive-0.13.1-cdh5.3.6.tar.gz -C /opt/modules hive运行需要依赖hadoop集群，保证hadoop集群的正常运行。 2. 将hive-0.13.1-cdh5.3.6.tar.gz解压（一般我们都将hive安装在hadoop的na

2017-09-20 14:23:20 342 1

原创 eclipse 编写mapreduce程序（wordCount）

package com.hadoop.senior.mapreduce;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.ha

2017-09-19 13:24:03 1121

转载 Linux和Mysql创建用户及授权方法与C连接Mysql的方法

一.Linux创建用户方法命令作用sudo adduser username创建用户且在home目录下添加一个帐号目录sudo useradd username仅仅是添加用户，不会在home目录添加帐号sudo passwd username password修改用户的密码二.Mysql用户创建方式1.

2017-09-15 16:31:57 260

原创 HDFS API 文件读写代码演示

在Maven工程中新建com.hadoop.senior.hdfs包，创建HDFSApp类，编写如下代码右键项目名称新建source folder，路径为src/main/resources将hadoop配置文件下的core-site.xml，hdfs-site.xml， log4j.properties文件复制到该目录下，如果项目中没有这些配置文件程序在运行的时候是相当于运行在本地，

2017-09-13 17:32:53 763 1

原创 linux eclipse 安装和配置

1.安装Maven，用于管理项目依赖包（apache-maven-3.0.5-bin.tar）下载apache-maven-3.0.5-bin.tar 复制到/opt/softwares目录下安装到 /opt/modules/· tar -zxf apache-maven-3.0.5-bin.tar -C /opt/modules设置环境变量： /etc/profi

2017-09-13 16:41:35 378

原创 hadoop 伪分布式 web浏览器访问不到yarn

hadoop的配置文件中的不要填写localhost，都填写主机名，用hostname可以打印出主机名

2017-09-13 14:57:46 2417

原创 hadoop 伪分布式安装配置

1》配置JAVA环境 java -version 查看Java安装的jdk的版本 rpm -qa | grep jdk （查看安装的jdk） rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 (删除Linux自带的jdk) 安装jdk 下载jdk jdk-

2017-09-12 16:12:56 472 4

原创 hadoop HA环境安装配置

hadoop所有软件包下载地址http://archive.cloudera.com/cdh5/cdh/5/所有的软件都下载cloudera公司的chh5.3.6这个版本，cloudera的CDH不需要考虑软件之间的使用的jar包版本不一致问题解决三台服务器（Linux系统64位）创建新用户用户useradd csspasswd css 123456所有软件包存放位

2017-09-08 17:23:50 325 3

weixin_38655836的博客