2018年01月_leofionn

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 hive命令（基础）

1.hive模糊搜索表 show tables like '*name*';2.查看表结构信息 desc formatted table_name; desc table_name;3.查看分区信息 show partitions table_name;4.根据分区查询数据 select table_coulm from table_name where partition_name =...

2018-01-26 19:29:59 349

转载 Hive参数配置调优

http://blog.itpub.net/31511218/viewspace-2150054/来自@若泽大数据

2018-01-23 13:43:15 601

原创 java代码访问hive的相关步骤。

相关说明使用java代码访问hive的时候需要hive的守护进程——hiveserver2也可以使用另外一个命令行客户端beeline进行对hive的访问守护进程模式启动和beeline简单使用hiveserver2 & # 启动，并挂到后台 netstat -tupln|grep 10000 # 默认的端口是10000 beeline !connect jdbc:hive2://loc...

2018-01-20 15:40:38 2748

hive的join相关分析：hive常用的join有两大类：common join/reduce join/shuffle join 一般的joinmapjoin 优化器优化后的joinhive默认使用的join：当 hive.auto.convert.join = true时，优化器默认将common join转化成mapjoin当 hive.auto.convert.join = false时...

2018-01-20 15:39:39 327

原创 hive export/import逻辑迁移命令

具体语法如下EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])] TO 'export_target_path' [ FOR replication('eventid') ] IMPORT [[EXTERNAL] TABLE new_or_original_tablename [PARTITION (part_colu...

2018-01-20 15:37:24 499

原创 hive 分区表

1. 相关说明分区表的一个分区对应hdfs上的一个目录分区表包括静态分区表和动态分区表，根据分区会不会自动创建来区分多级分区表，即创建的时候指定 PARTITIONED BY (event_month string,loc string)，根据顺序，级联创建 event_month=XXX/loc=XXX目录，其他和一级的分区表是一样的2. 静态分区表创建静态分区表，加载数据：use tes...

2018-01-20 15:36:18 301

原创 hive ddl

Database相关DDLhive部署启动后，会有一个默认的hive数据库：default；hive中的一个库对应hdfs中的一个目录；default库对应的hdfs目录为：/user/hive/warehouse。hive show databases; -- OK -- default -- Time taken: 0.024 seconds, Fetched: 1 row(s) -- 默认库...

2018-01-20 15:34:58 410

原创 hive dml

LOAD操作HIVE的DML，从OS或者hdfs中load数据到表相关：use test1; create table emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int) row format delimited fields...

2018-01-20 15:33:22 180

原创 python字符编码问题

抛错：编码问题： SyntaxError: Non-UTF-8 code starting with '\xc1' in file C:\...\xxx.py on line 8, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details 在最上方添加： # c

2018-01-06 13:01:37 152

转载 YARN调优配置详解

YARN and MapReduce的【内存】优化配置详解 http://blog.itpub.net/30089851/viewspace-2127850/ YARN的Memory和CPU调优配置详解 http://blog.itpub.net/30089851/viewspace-2127851/来自@若泽大数据...

2018-01-06 12:26:14 768

原创 Hive安装

解压编译出来的hive安装包cd /usr/local/ tar -xf /tmp/apache-hive-1.1.0-cdh5.7.1-bin.tar.gz ln -s apache-hive-1.1.0-cdh5.7.1-bin hive chown hadoop: apache-hive-1.1.0-cdh5.7.1-bin -R chown hadoop: hive -R echo 'ex...

2018-01-05 13:10:01 150

原创安装Mysql

tar xzvf mysql-5.6.23-linux-glibc2.5-x86_64.tar.gzmv mysql-5.6.23-linux-glibc2.5-x86_64 my创建用户和组groupadd -g 101 dbauseradd -u 514 -g dba -G root -d /usr/local/mysql mysqladminid mysqladminpasswd mysql...

2018-01-05 13:06:34 214

原创 Mysql基础

用户管理：　　1、新建用户：　　　　>CREATE USER name IDENTIFIED BY 'leofionn';　　2、更改密码：　　　　>SET PASSWORD FOR name=PASSWORD('123456');　　3、权限管理　　　　>SHOW GRANTS FOR name; //查看name用户权限　　　　>GRANT SELECT ON d...

2018-01-05 12:46:21 150

原创 linux基础

1.目录pwd：显示完整目录名 cd :进入当前用户的家目录 cd ../ （cd ..）: 退回上一级目录 cd - :返回上一次操作 cd ~ :家目录 cd /tmp : 切换到指定目录（按1次 tab键自动补全 2次打印所有相关的） clear: #清屏2.查看文件或文件夹ls #显示当前目录下的文件名和文件夹名称 ls -a #查看所有的文件和文件夹，包括隐藏文件，隐藏文件以.开头 l...

2018-01-05 12:42:55 202

原创阿里云虚拟机搭建Hadoop-2.6.0-cdh5.7.1安装详解（伪分布式环境）

首先先搭配安全组打开镜像后输入以下内容：重要： yum -y install lrzsz HOSTNAME=（自己的主机名字） hostname $HOSTNAME echo "$(grep -E '127|::1' /etc/hosts)">/etc/hosts echo "$(ifconfig eth0|grep inet|awk -F'[ :]...

2018-01-05 12:27:08 1474

华泰人工智能系列报告1-45.rar

截止2021年5月31日全部报告

2021-05-31

apache-hive-1.1.0-cdh5.7.1-bin.tar.gz

部署安装mysql5.6， hadoop-2.6.0-cdh5.7.1 伪分布式已启动，即在hadoop上部署hive

2018-05-22

Java核心必读书（包含面试题）.rar

包含：thinking in java 3 chinese 2011-2017年Java面试题集锦 The+JVM+Specification.pdf Java深度历险.pdf Java+Performance.pdf Inside+the+Java+Virtual+Machine.pdf 深入理解Java7.pdf 深入理解Java虚拟机++JVM高级特性与最佳实践.pdf 深入理解OSGi：Equinox原理、应用与最佳实践.pdf 等数十本书

2018-05-10

hadoop-2.6.0-cdh5.7.1.tar.gz(编译版)

编译环境如下： jdk1.7 apache-maven-3 protobuf-2.5.0 findbugs-1.3.9 gcc gcc-c++ make cmake openssl zlib ncurses snappy bzip2 lzo lzop autoconf automake