ydb_jason-CSDN博客

转载 hive配置

环境变量：vi /etc/profile HIVE_HOME=/usr/bigdata/hive-2.0.1PATH=$PATH:$HIVE_HOME/bin 5,初始化数据库schematool -initSchema -dbType derby出现以下几行说明初始化成功：Starting metastore schem

2016-12-03 21:07:13 485

翻译 mapreduce-site.xml

name value Description hadoop.job.history.location job历史文件保存路径，无可配置参数，也不用写在配置文件里，默认在logs的history文件夹下。 hadoop.job.history.user.location 用户历史文件存放位置 io.sort.factor 30 这里处理流合并时的文件排序数

2016-12-03 21:03:53 930

翻译 hive语句

hive基本数据类型smalint：2byte（32768，java short），int：4byte（对应java int），bigint：8byte（对应java long，ydb-tlong：多占用存储空间，但是查找速度要更快），boolean：布尔类型（true|FALSE），float：单精度浮点型doublie：双精度浮点型string：字符串类型（对应ydb-string，

2016-12-03 20:53:58 10771

翻译 yarn-site.xml

name value Description yarn.resourcemanager.hostname hadoop RM的主机名即IP yarn.resourcemanager.address hadoop:8032 ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。 yarn.nodemanager.pme

2016-12-03 20:31:58 1295

翻译 core-site.xml

name value Description fs.defaultFS hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 fs.checkpoint.dir /opt/data/hadoop1/hdfs/namesecondary1 定义hadoop的name备份的路径，官方文档说是读取这个，写入dfs.name.dir

2016-12-03 20:27:47 744

翻译 hdfs-site.xml

name value Description dfs.default.chunk.view.size 32768 namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。 dfs.datanode.du.reserved 1073741824 每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字节 dfs.na

2016-12-03 20:18:07 260

转载 Hadoop-2.7.3集群搭建中遇到的问题总结

1 搭建过程中常用Hadoop指令：1）启动Hadoop指令：start-all.shmr-jobhistory-daemon.sh start historyserver12启动成功过程log输出：2）查看DataNode是否正常启动命令：hdfs dfsadmin -report1shell输出：注：也可以通过web页面(http:

2016-12-03 19:35:32 531

翻译配置原生hadoop2.7版

配置原生hadoop2.7版配置hostname等装JDK并配置环境变量关闭防火墙无密码登陆解压hadoop2.7并配置环境变量配置core-site.xml配置hdfs-site.xml配置yarn-site.xml初始化hdfs开启hdfs，yarn等服务配置hostname等第一个是主机名，之后两个vi里也对应改上主机名。hostname ydbmastervi /et

2016-12-03 19:27:59 510

翻译 YDB1.4版与hive的插入数据sql语句

示例-----更新后的YDB，直接导入数据insert into table ydbpartion -----此处的表名是固定不变的select 'jasoncall', 'jason_partion', '', -----查询外部表，分区，单引号里内容是要删除的数据类型 YROW( 'jason_mobile',jason_mob

2016-11-07 17:10:30 466

翻译 Hive和YDB的sql语句

YDB的数据类型|YDB类型 | Hive类型 |注解 || :------- | --------:| :--: || String | String | 字符串|| haoma | String | 用于对号码类型的模糊检索|| tint | int | 整形32位|| tlong | bigint | 整形64位

2016-11-07 09:49:31 662

原创 YDB的使用方法

目前沈阳延云云计算公司提供一下几种方式对接（交互）1.命令行方式。1.进入到ya100的bin文件内，直接执行： ./conn.sh 就可以了2.通过./conn.sh -f xxx.sql直接执行文件中的SQL2.Web http 接口方式。1.图形SQL提交地址http://xxx.xx.xx.xx

2016-11-07 09:37:36 3001

原创 YDB的安装部署

之前学习了，Hadoop的安装及部署，现在开始应用本公司的YDB产品安装。首先需要的系统，架包，版本等；1.操作系统Centos 6.x 64bit不推荐过老或过新的操作系统，诸多hadoop厂商的发行版在过老或过新的系统上有问题。2.JavaJDK1.7及以上版本3.Hadoop2.6及以上版本，需要支持yarn4.Zookeeper zookee

2016-11-07 09:26:40 2111

原创 DbVisualizer安装与配置Hive链接

来到沈阳延云云计算公司已经有一段时间了，学习了不少以前没接触过的，最近新研究个软件，用于Hadoop链接Spark和写HiveSQL语句的一个软甲，比那些开源的要稳定很多DbVisualizer安装1.解压到英文目录下。2.在\DbVisualizer\jdbc 下添加hive文件夹，把下面两个架包放在里面。hadoop-common-2.6.4.jarhive-jdbc

2016-11-07 09:14:26 4785

原创服务器重装

开机-F1-system settings-bootmanager-change boot order-USB启动放第一位，hard driver磁盘启动放第二位-进入到adapters and VEFI Dreverse默认向-LISTEFI SAS Driver下I-Pciroot（0*0）向-forEFI webBIOS-start-clear布局sda创建标准分区

2016-10-25 15:17:17 404

原创配置Hadoop

配置Hadoop首先要有操作系统：centOS v6.x•基本软件环境要求yum andrpm (RHEL/CentOS/OracleLinux)Python2.6.*gccJDK要求OracleJDK 1.8 64-bit (minimum JDK 1.8.0_77) (default)配置静态ip和ip地址 vi /etc/sysconfig

2016-10-19 09:34:52 411

原创 eclipse操作hadoop搭建环境

首先从Linux里将hadoop的架包拽出来，如图放到eclipse安装目录下的plugins里即可。重启eclipse，配置Hadoop installation directory如果插件安装成功，打开Windows-Preferences后，输入刚才放hadoop的地址。配置Map/Reduce Locations打开Windows-->Open

2016-10-14 14:56:28 333

原创那些年在沈阳延云云计算的日子初识篇

http://write.blog.csdn.net/Image/Index?r=0.742950181http://write.blog.csdn.net/image/index?r=0.60978567576967182439412

2016-10-12 14:20:27 3612

ydb_jason的博客