2017年09月_A_ChunUnique

原创 Hive简单部署

一、下载hive1、/opt/software/目录下 weget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz2、解压到/opt/app/路径下[root@hadoop001 software]# tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C /opt/app/3、hive-1

2017-09-24 02:19:26 458

原创 Crontab详解

使用crontab你可以在指定的时间执行一个shell脚本或者一系列Linux命令。例如运维人员可以写一下备份数据库的任务使其每天都运行一、 crontab设置格式：{minute} {hour} {day} {month} {day-of-week} {script} minute: 区间为 0 – 59 （每分钟用*或者 */1表示）hour: 区间为0 – 23 （0表示0点）

2017-09-23 15:56:37 537

原创 Crontab 设置定时抽取任务

一、写好需要执行的抽数脚本文件[root@hadoop02 importDataToHbase]# vim HDR_EMR_CONTENT.sh#! /bin/bashsqoop import --connect 'jdbc:sqlserver://192.168.1.40; username=sa; password=mandala; databasename=mandala' --quer

2017-09-22 19:36:10 1176 1

原创 Hive Common Join VS Map Join

以下是个人理解，如有偏差，望大家多多指点！一、Common Join（也称之为shufflejoiin/reducejoin） 1、Common Join图解 a>首先会启动一个Task，Mapper会去读表HDFS上两张X/Y表中的数据 b>Mapper处理过数据再经过shuffle处理 c>最后由reduce输出join结果2、举例 Table A ID NAME

2017-09-21 19:06:25 586

转载 Eclipse开发Webservice

1.参考文献：1.利用Java编写简单的WebService实例 http://nopainnogain.iteye.com/blog/7915252.Axis2与Eclipse整合开发Web Service http://tech.ddvip.com/2009-05/1242968642120461.html3.http://blog.csdn.net/lightao220/articl

2017-09-18 17:04:56 877

原创 MySQL三种安装方式

在这里介绍一下MySQL的三种安装方式 1、RPM包安装 2、Yum方式安装 3、编译安装一、RPM包安装 1、首先下载以下包 MySQL-server-5.6.15-1.el6.x86_64.rpm MySQL-client-5.6.15-1.el6.x86_64.rpm 链接：http://pan.baidu.com/s/1dFtkTXZ 密码：pngr 上传至/opt/soft

2017-09-17 23:29:13 1042

原创 SSH远程控制脚本

#!/bin/bash#列出要控制的机器名 ip_array=("hadoop02" "hadoop03" "hadoop04" "hadoop05" "hadoop06" "hadoop07" "hadoop08" "hadoop09") #以什么用户执行 user="root" #本地通过ssh执行远程服务器的脚本 for ip in ${ip_arra

2017-09-17 19:28:40 532

原创 Hive四种数据导入方式

Hive常见数据导入方式： 1、从本地导入数据到hive表 2、从hdfs导入数据到hive表 3、从其他表导入数据到hive表 4、创建表时从其他表导入数据到hive表一、首先看前两种方式官方导入语法格式LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=va

2017-09-17 19:14:14 2619

原创 Hive表的操作

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-CreateTableCreate/Drop/TruncateTable从官网得知表的操作语法如下CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]t

2017-09-17 11:55:03 458

原创 Hive数据库操作

Hive部署完成后我们就要来使用了一、数据库创建CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];我们可以按照官网给出的

2017-09-17 00:44:59 482 1

原创 Hive2.1.1环境部署

一、Hive包的下载到http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/网址下载 apache-hive-2.1.1-bin.tar.gz二、部署需求Installation and ConfigurationYou can install a stable release of Hive by downloading a tarball, or

2017-09-16 23:46:07 463

原创 CentOS6.5环境部署Hadoop2.8.1集群（HA）

部署前提 1、三台主机安装JDK1.7 2、关闭防火墙、selinux 3、配置静态IP一、所用软件 hadoop-2.8.1 zookeeper-3.4.6 hadoop-2.8.1下载地址 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.1/ zookeeper-3.4.6 下载地址 http://mirrors

2017-09-12 13:09:27 772

原创 Hadoop（HA）四个核心配置文件

一、core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>  <property>

2017-09-11 18:50:16 3411

原创 HIVE2.X启动报错 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaS

启动HIVE错误信息如下Logging initialized using configuration in jar:file:/opt/soft/hive/lib/hive-common-2.1.1.jar!/hive-log4j2.properties Async: trueException in thread "main" java.lang.RuntimeException: org.a

2017-09-11 15:09:26 1627

原创 SSH互相信任关系配置

一、机器规划 192.168.95.10 hadoop000 192.168.95.20 hadoop001 192.168.95.30 hadoop002 准备三台虚拟机IP和主机名配置如上.且将以上对应关系添加到/etc/hosts文件中[root@hadoop000 .ssh]# cat /etc/hosts127.0.0.1 localhost localhost.locald

2017-09-10 19:51:00 792

转载 Yarn资源配置说明

Yarn最佳实践转载：http://blog.csdn.NET/jiangshouzhuang/article/details/52595781本篇博客，我将讨论Yarn资源管理方面的最佳实践，如果有写的不对的地方，请朋友们多多指教。本篇文章也参考了网上的一些资料。 Hadoop2中引入Yarn组件，将MRv2(Yarn)分为两个主要组件，一个是资源管理，一个是作业调度和监控，并且使用独立的守护

2017-09-08 17:39:42 6617

原创 MySQL练习笔记

1、mysql登录mysql -u用户名 -phadoop001:mysqladmin:/usr/local/mysql:>mysql -uroot -pEnter password:输入密码即可进去mysql在这里大家一定很好奇我的为什么是hadoop001:mysqladmin:/usr/local/mysql:>而不是[root@hadoop001 ~]#其实这个是我在编译mysql后在

2017-09-06 22:51:37 352

原创 MySQL数据库查看存储过程和函数笔记

一.查询数据库中的存储过程和函数方法一:select `name` from mysql.proc where db = 'your_db_name' and `type` = 'PROCEDURE' //存储过程select `name` from mysql.proc where db = 'your_db_name' and `type` = 'FUNCTION' //函数方法二:

2017-09-06 21:54:19 1114

原创基于CentOS6.5编译Spark2.2.0源码

一、创建hadoop用户及目录1 创建用户[root@hadoop000 ~]# useradd hadoop2 设置密码[root@hadoop000 ~]# passwd hadoop3 切换用户 hadoop[root@hadoop000 ~]# su - hadoop[hadoop@hadoop000 ~]$ pwd/home/hadoop4 创建目录[hadoop@hadoop

2017-09-06 12:16:36 632 1

原创 Hadoop学习之MapRduce笔记

一、MapRedduce1和MapReduce2 1、功能 MapReduce分两个版本，MR1和MR2 MR1是Hadoop1.X中的，包括计算+资源调度两个功能 MR2是Hadoop2.X中的，只有计算功能，资源调度被剥离成单独的组件YARN了2、进程 MR1有具体进程 JobTracker TaskTracker MR2没有具体进程，而且集群中不需要部署。只需将写好的代码jar

2017-09-04 11:44:44 676

UniqueChunBlog