- 博客(53)
- 收藏
- 关注
RSS订阅原创 PowerDesigner反向MySQL生成pdm
1、环境准备：1.1、PowerDesigner软件安装：（略）基本傻瓜式安装，一直next到结束就行，自己也没找到特别好的安装包，就不提供了。注意事项：如果安装的是32位的PowerDesigner，需要将环境变量中的jdk变为32位的，使用的数据库链接包也为32位的。1.2、32位的jdk链接：https://pan.baidu.com/s/1dxg9K-MM48zWYe5LZqpEbA提取码：2nqv1.3、MySQL的32位connect.jar（3.1.14、5...
2021-04-21 17:13:25
1063
1
原创 oracle学习-- 批量导入txt文件
现在有表 vb_04；SQL> desc vb_04;Name Type Nullable Default Comments ------------------ ------------- -------- ------- -------- CHANNL_NUM VARCHAR2(20) Y ...
2019-01-03 11:17:37
4149
原创 Linux定时任务
linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之...
2018-12-06 18:02:12
219
转载 oracle安装
1：软件下载解压官网下载压缩包即可。注意：无论多少位的安装包，都要下载两个文件。两个文件一起选中，解压到同一个文件中。路径中最好为纯英文路径。 win64_11gR2_database_1of2.zip win64_11gR2_database_2of2.zip2：防止先决条件检查失败应在安装之前1、在运行中（或键盘按 Win...
2018-11-15 15:53:33
244
原创 oracle软件卸载------超级麻烦
1：停止orcale的服务计算机→右键→管理→→找到所有的oracle开头的服务，右击选择停止。2：卸载在开始菜单中找到oracle安装文件，找到oracle自身的卸载工具Universal Installer。单击卸载产品，在产品清单窗口中，单击全部展开，除了OraDb11g_home1外，勾选其他项目，单击删除，根据软件提示单击下一步最终完成卸载。3：删除注册表相关项在命令...
2018-11-15 15:45:29
1089
原创 在windows环境中开发hadoop程序
在工作中，我们常常需要在Windows环境中开发Hadoop程序，比如使用eclipse开发MapReduce的程序等。为了方便程序的运行差错，除了程序中需要添加Hadoop的相关jar包外，还需要配置windows的本地环境。将Hadoop解压到Windows目录下：D:\software\hadoop-2.9.0注意：如果下载的Hadoop是Linux版的，那么D:\softwar...
2018-10-30 16:04:23
612
原创 hive------设计原则
1 使用分区管理HDFS文件分区避免查询数据进行HDFS全盘扫描，一个表分区数量不要太多（导致每一个分区创建一个task，每一个task是一个jvm实例），没个分区中的文件尽量大（与HDFS数据块保持一致，默认128M）2 hive反标准化传统的RDBMS有标准化，例如唯一键、主键等；hive没有主键、唯一键的概念，目标优化磁盘驱动的IO性能3 hive允许从一个表中同时向多张...
2018-10-08 23:40:27
1276
转载 数据库中导出数据到HDFS
使用sqoopsqoop import -m 1 --------m 1 使用一个MapReduce，默认4个。--connect jdbc:mysql://主机IP:3306/数据库名 --username 用户名--password 用户密码 --table 表名--columns "name,age"--where "age>18"--target-di...
2018-10-08 19:55:51
953
原创 HBase安装
HBase是一个分布式的、面向列的开源数据库：它是一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。是nosql数据库前置环境：jdk，Hadoop，zookeeper...
2018-10-08 17:09:20
147
原创 sqoop安装
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。前置环境：jdk，Hadoop，mysql，hbase，hive，zookeeper安装...
2018-10-08 17:09:17
157
原创 hive----执行钩子（适用于数据新增内容）
当表中储存的文件在hive之外被修改了了，就会触发执行钩子。例如：某脚本想分区中写入了新的日志信息，可以在hive cli中进行下面的调用hive -e 'alter table 表名 touch partittion(day=2010-12-18);'没有更深入的了解，个人觉得很符合实际工作的需求。如果有高手了解相关的信息，欢迎互粉，相互交流...
2018-09-29 23:40:56
1142
2
原创 hive--json解析函数
内置函数json_tuple(jsonStr, k1, k2, ...)参数为一组键k1，k2……和JSON字符串，返回值的元组。该方法比 get_json_object 高效，因为可以在一次调用中输入多个键hive中如何定义自己的函数： 1、先写一个java类（extends UDF,重载方法public C evaluate(A a,B b)），实现你所想要的函数的功能（传...
2018-09-29 17:04:50
14263
原创 hive---内置函数(3)集合函数、条件控制函数、窗口分析函数
集合函数sort_array(字段名)；----对字段进行排序size(Map<k,v>);-------计算map个数，返回intmap_keys(Map<k,v>);-------字段中所有的key值 返回数组map_values(Map<k,v>);-------字段中所有的values值，返回数组条件控制函数case whe...
2018-09-29 16:29:43
1422
原创 hive---内置函数(2)表生成函数
表生成函数：可以理解为一个函数可以生成一个表行转列函数：explode(字段名--hive中集合类型中的array，map)----炸开字段内容distinct去重select distinct sub from (select explode(subjects) as sub from t_stu_subject) temp;表生成函数：lateral view目标表...
2018-09-28 22:43:59
775
原创 hive---内置函数(1)
类型转换函数cast强制转换select cast("5" as int)---------将字符串5转换为int类型 字符串转成时间戳select unix_timestamp("2018/09/20 19:50:29","yyyy/MM/dd HH:mm:ss");数学运算符round------正数的四舍五入，负数的五舍六入：select round (5.4)---...
2018-09-28 22:00:50
155
原创 hive---数据类型
数字类型tinyint------微整数（-128至127）smallint-------2字节相当于java中的shortint/integer---4字节bigint-----8字节（相当于java中的long）float----4字节（浮点型）小数double--8字节（浮点型精度更高）小数日期时间类型timestamp-------时间戳date----...
2018-09-28 18:22:05
430
1
原创 hive学习--查询语法
基本查询select * from 表名;select count(1) from 表名; -- 计数 单行函数select max(ip) from 表名;----------使用max函数 聚合函数select uid（字段名）from 表名 limit 10（数量）;----------------------查询表中uid字段的头10...
2018-09-28 16:48:46
657
原创 hive学习--建分区表
创建内部表创建表语句：create table [if not exists] linuxidc_hive_log ( num string, sn string,userkey string);执行后：会在库目录下生成表目录，默认分隔符为^A。create table [if not exists] linuxidc_hive_log ( num string, sn str...
2018-09-28 13:34:52
4407
原创 hive学习--基本使用和创建内外部表
数据库查看数据库： hive> show databases; hive>show databases like 'h.*';---展示以h开头的所有数据库，注意：like后字符串匹配使用正则创建数据库： hive> create database [if not exitsts] 数据库名 ...
2018-09-27 17:00:38
316
原创 hive学习--脚本化运行方式
hive 可以使用一次性命令的方式来执行给定的大量的hql语句。hive -e "SQL语句"例如： vi hivesqlaa.hql#! /bin/bashhive -e "create table t_name(name string,age int,sex string);"hive -e "insert into table t_name select a_name,a...
2018-09-27 17:00:33
197
原创 hive--数据操作（数据导入导出）
数据导入向表导入数据 load data [local] inpath 'hdfs://master:9000/xx/[文档]' [overwrite] into table 表 注意：如果表有分区，load data [local] inpath 'hdfs://master:9000/xx/[文档]' [overwrite] into table 表 partition(year...
2018-09-27 17:00:16
231
原创 shell 后台运行
写个脚本：vi lalal.sh#!/bin/bachwhile truedoecho 'i love you baby baby.......'sleep 1done给脚本赋予执行权限：chmod +x lalal.sh在前台运行：./lalal.sh后台运行脚本在后台运行：./lalal.sh & 注意： 后台运行无法通过Ctrl+c等方法停止...
2018-09-27 16:43:35
556
原创 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
hive 启动 或者做增删该查时，如果报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaS...
2018-09-27 11:27:10
4319
原创 hdfs常用命令
查看hdfs大小：hadoop fs -df /创建目录：hadoop fs -mkdir /aaaaaa查看目录：hadoop fs -ls /aaaaaa移动目录或文件：hadoop fs -mvhdfs内部复制：hadoop fs -cp删除文件或目录：hadoop fs -rm -r导入文件到HDFS上：hadoop fs -put导出文件到本机：hadoop ...
2018-09-26 23:45:07
272
原创 基础知识--URI
URI：统一资源定位网页：http://www.baidu.com:80/index.html数据库：jdbc:mysql://sure1:3306/db_1HDFS：hdfs://namenode(所在的主机):9000(端口号)/(文件系统的根目录)可以分为三段理解：//前为第一段：协议/前为第二段：资源所在主机和协议号/后为第三段：主机上的具体资源 ...
2018-09-26 22:44:18
134
原创 flume 安装配置一（采集目录中的新文件到HDFS）
1 解压改名（所谓压缩：将相同的二进制用特定的二进制代替，减少数据量）tar -zvxf apache-flume-1.8.0-bin.tar.gzrm apache-flume-1.8.0-bin.tar.gzmv apache-flume-1.8.0-bin/ flume-1.8.02 配置官方文档：http://flume.apache.org/ 左侧目录栏中找到...
2018-09-18 11:23:20
1821
1
原创 tomcat
是web的服务器的一种，在国内较为常用。特点：使用jvm为基础，支持http协议，支持多线程，能够保存http所不支持的数据存储功能。默认端口为8080。eclipse配置tomcat软件解压到英文目录：D:\software\apache-tomcat-7.0.82eclipse→Window→preferences→Server→Runtime Environments→右侧Add...
2018-09-12 22:35:13
155
原创 maven
maven是Apache的顶级项目，是一个项目管理工具。主要作用体现在pom（project object model工程对象模型），帮助构建项目，整理目录结构。例如：java运行时环境的包，ser（源代码的包），经过maven规划后，将不同类型的类，放入不同的包内。例如测试的包资源文件的包，第三方库（例如junit）。管理依赖，发布，打包等。下载：https://maven.apache.o...
2018-09-11 22:00:33
129
原创 java导入maven项目后有小红叉
1、导入maven项目后，这几处出现了小红叉2、出现这样的错误，是因为版本不对应的原因造成的。 3、点击项目，右键选择Properties ，查找Java Build Path，点击进去后会看到jdk的版本是1.5，我使用的是1.8，所以需要替换一下jdk的版本4 然后要选择Java Compiler,将版本号替换为1.8，点击Apply进行保存，选择Yes保存 ...
2018-09-11 10:09:58
1492
原创 Flume 组件
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理， 并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部...
2018-09-10 20:46:33
540
原创 Kafka单机伪分布式安装
环境： 虚拟机 vmware 操作系统 红帽7（red hat 7）、centos7jdk1.8zookeeper 3.4.6安装配置解压：tar -zvxf kafka_2.11-1.1.0.tgz vi /etc/profileJAVA_HOME=/user/java/jdk1.8.0_144JRE_HOME=/user/java/...
2018-09-10 15:34:40
259
转载 kafka分布式集群安装
环境： 虚拟机 vmware 操作系统 红帽7（red hat 7）、centos7jdk1.8zookeeper 3.4.6安装配置解压：tar -zvxf kafka_2.11-1.1.0.tgz vi /etc/profileJAVA_HOME=/user/java/jdk1.8.0_144JRE_HOME=/user/java/...
2018-09-10 14:51:59
386
原创 zookeeper伪分布式配置安装
Zookeeper不但可以在单机上运行单机模式Zookeeper，而且可以在单机模拟集群模式 Zookeeper的运行，也就是将不同节点运行在同一台机器。我们知道伪分布模式下Hadoop的操作和分布式模式下有着很大的不同，但是在集群为分布 式模式下对Zookeeper的操作却和集群模式下没有本质的区别。显然，集群伪分布式模式为我们体验Zookeeper和做一些尝试性的实验提供了很大 的便利。比如，...
2018-09-07 17:08:18
434
原创 zookeeper单机配置安装
1 zookeeper简介(面试)ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，(是Google的Chubby一个开源的实现)，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 2 为什么需要zookeeper？分布式应用中出现“部分失败”(例如两个节点通过网络发送消息，...
2018-09-07 15:35:52
257
原创 Linux向Windows导入文件
使用SecureCRT，右键创建 →连接SFTP标签页sftp> lcd d:/sftp> get /home/hadoop/hive-2.3.3/conf/hive-exec-log4j2.properties
2018-09-07 10:13:41
505
原创 Linux环境下hive的安装
一 Hive简介在Hadoop生态圈中属于数据仓库的角色。Hive能够管理Hadoop中的数据，同时可以查询Hadoop中的数据。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制； Hive定义了简单的类SQL查询语言，称为HQL ，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发...
2018-09-06 17:06:13
14756
原创 MySQL数据库Linux环境的安装
1 mysql数据的linux（centeros系统）安装准备 1.1 mysql在linux上支持三种安装方式 使用tar.gz解压方式安装（推荐）； 使用rpm包进行安装； 在线安装； 1.2 准备 下载mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz文件包； 为当前环境设置 mysql用户和my...
2018-08-24 15:16:53
1633
原创 Hadoop集群的安装 二 安装hadoop集群
1 解压hadoop并配置相关环境变量以hadoop用户名解压hadoop压缩文件JAVA_HOME=/usr/java/jdk1.8.0_144JRE_HOME=/usr/java/jdk1.8.0_144/jreHADOOP_HOME=/home/hadoop/hadoop-2.9.0CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/...
2018-08-24 13:41:23
296
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人