强悍de巨人

达梦数据库逻辑导入导出

数据库启动停止

达梦数据库安装

一．  Scala下载及环境搭建 1.1. Scala介质    保你本地以及安装了 JDK 1.5 以上版本，并且设置了 JAVA_HOME 环境变量及 JDK 的bin目录。我们可以使用以下命令查看是否安装了 Java：$ java -versionjava version "1.8.0_31"Java(TM) SE Runtime Environment (build1.8.0_31-b13...

Sqoop安装1 下载1.    下载地址http://archive.cloudera.com/cdh5/cdh/5/2.    环境sqoop-1.4.6-cdh5.7.0.tar.gz版本2 上传到linux上，并解压[hadoop@hadoop000 software]$ tar -xzvf sqoop-1.4.6-cdh5.7.0.tar.gz –C~/app修改用户和用户组 3 Sqo...

环境: hive-1.1.0-cdh5.7.0 包 放在了 /root 下面 cdh 采用 cdh5.7.0 目标： 将自定义函数sayhello  注册到hive 源码中，并且重新编译hive1、编写UDF (1)使用idea+maven，在maven中添加相关参数。 重要的是 hadoop-common 、hive-exec 、hive-jdbc 以下为我的maven，文件头修改下，其他可以直...

前言：回顾想上期课程，上次课我们讲了聚合函数，多进一出

-- 创建 dual 表（只有在测试的时候用insert）hive> create table dual(x string);OKTime taken: 0.282 secondshive> insert into table dual values('');Query ID = hadoop_20180611233030_645e070e-77f9-4ea4-8b32-ee3...

前言：上一堂课回顾总结：大数据开发最主要做底层的优化架构的优化，这些东西才是核心，写代码用的不多，做平台化，开发一个平台直接在页面上拖拽就可以了，底层的数据平台都已经封装好了，只是会某一个功能，只能说是大数据开发的入门，初级程序员做的事。Oracle在大数据几乎不用，只用一些轻量级的数据库。讲了DDL DML，Hive数据模型的抽象，顶层是Database，下一层是table，再下一层是parti...

创建数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];--案例 create database if n...

1. 相关说明DML=Data Manipulation Language 数据操作语言。HIVE的DML中，update和delete一般不会用，生产数据是不会删除的，常用overwrite和load做数据的转换。insert into values 也一般不会用，离线批处理，一些实时的数据insert场景并不多，这个命令只是从关系型数据库兼容过来的。2. LOAD操作HIVE的DML，从OS或...

1. 相关说明DDL=Date Definition Language，数据定义语言。学习hive的HQL的DDL相关语法，建议对照官方WIKI，因为语法参数较多，而且和SQL多有相似，不建议记忆，梳理一下，记住相关可以实现的功能和注意点以及和SQL之间的区别即可。 官方WIKI打开： 浏览器访问 http://hive.apache.org， 找到”Getting Started Guide”，...

配置mysql服务自启动[root@hadoop000 ~]# cd /usr/local/mysql#将服务文件拷贝到init.d下，并重命名为mysql[root@hadoop000 mysql]# cp support-files/mysql.server /etc/rc.d/init.d/mysql #赋予可执行权限[root@hadoop000 mysql]# chmod +x /...

前言：上一个章节，若泽给我们讲的第一堂课Hive，详细的总结了，有关Hive的各种信息，本次课程讲讲Hive的 DDLDatabaseHive中包含了多个数据库，默认的数据库为default，对应于HDFS目录是/user/hadoop/hive/warehouse，可以通过hive.metastore.warehouse.dir参数进行配置（hive-site.xml中配置）TableHive中...

前言：apache hadoop版本告一段落，现在安装新的cdh版本的hadoop下载Hadoop和JDK下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz下载jdk：注册甲骨文账号下载，推荐1.7版本安装JDK解压jdk压缩包 tar -zxvf /home/hadoop/software...

前言：Hadoop的课程已经告一段落，基本上在零基础课程里不会再出现了，接下来的课程由若总来上，第一讲Have。复习前一个月的课程内容：1、LinuxLinux： 文件(*****) 权限(*****) 压缩/解压(*****) 软件安装: JDK/MySQL/Hadoop/...(*****)2、MySQLDDL/DML(GROUP BY/JOIN:是大数据处理中的超级杀手:shuffl...

前言：从本次课程正式加入到编程的行列中来，以前编程的经验不多，通过此次学习希望可以获得更多的收获。Hadoop编程创建一个Maven的scala的模板工程新的项目对Maven进行设置选择 scala-tools填写信息修改路径修改项目名称和项目路径，点击【确定】复制代码内容拷贝文件到 IDEA上这4个去官网下载个Maven的代码搜索hadoop，点击 hadoop-common地址http://m...

前言：上节课我们讲了 MR job的提交Yarn的工作流程Yarn的工作流程MR架构设计Yarn（主从） 资源  + 作业调度管理Yarn：是一种新的 Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。ResourceManager(RM)：主要接收客户端任务请求，接收和监控NodeManag...

前言：有很多小伙伴对这几个东西的概念有些模糊，这里我做一个总结，希望大家能一篇看懂。一、HDFSHDFS是分布式文件系统，有高容错性的特点，可以部署在价格低廉的服务器上，主要包含namenode和datanode。Namenode是hdfs中文件目录和文件分配管理者，它保存着文件名和数据块的映射管理，数据块和datanode列表的映射关系。其中文件名和数据块的关系保存在磁盘上，但是namenode...

1.排序语法，默认是降序吗2.限制多少行语法3.分组函数有哪些4.分组语法是什么5.分组语法的注意点是什么6.join有哪几种7.left join是哪个表数据全8.union 和union all 区别是什么9.谈谈你们觉得什么是子表10.模糊查询名称name的有s字符的名称有哪些?11.like查询语法，比如是第三个字符是s，那么前面是不是要用两个占位符?12.谈谈你们对hadoop的理解13...