自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

cs的博客

一点点总计

  • 博客(53)
  • 收藏
  • 关注

原创 PowerDesigner反向MySQL生成pdm

1、环境准备:1.1、PowerDesigner软件安装:(略)基本傻瓜式安装,一直next到结束就行,自己也没找到特别好的安装包,就不提供了。注意事项:如果安装的是32位的PowerDesigner,需要将环境变量中的jdk变为32位的,使用的数据库链接包也为32位的。1.2、32位的jdk链接:https://pan.baidu.com/s/1dxg9K-MM48zWYe5LZqpEbA提取码:2nqv1.3、MySQL的32位connect.jar(3.1.14、5...

2021-04-21 17:13:25 1053 1

原创 oracle学习-- 批量导入txt文件

现在有表 vb_04;SQL> desc vb_04;Name               Type          Nullable Default Comments ------------------ ------------- -------- ------- -------- CHANNL_NUM         VARCHAR2(20)  Y             ...

2019-01-03 11:17:37 4142

原创 Linux定时任务

linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之...

2018-12-06 18:02:12 219

转载 oracle安装

1:软件下载解压官网下载压缩包即可。注意:无论多少位的安装包,都要下载两个文件。两个文件一起选中,解压到同一个文件中。路径中最好为纯英文路径。            win64_11gR2_database_1of2.zip            win64_11gR2_database_2of2.zip2:防止先决条件检查失败应在安装之前1、在运行中(或键盘按 Win...

2018-11-15 15:53:33 239

原创 oracle软件卸载------超级麻烦

1:停止orcale的服务计算机→右键→管理→→找到所有的oracle开头的服务,右击选择停止。2:卸载在开始菜单中找到oracle安装文件,找到oracle自身的卸载工具Universal Installer。单击卸载产品,在产品清单窗口中,单击全部展开,除了OraDb11g_home1外,勾选其他项目,单击删除,根据软件提示单击下一步最终完成卸载。3:删除注册表相关项在命令...

2018-11-15 15:45:29 1084

原创 在windows环境中开发hadoop程序

在工作中,我们常常需要在Windows环境中开发Hadoop程序,比如使用eclipse开发MapReduce的程序等。为了方便程序的运行差错,除了程序中需要添加Hadoop的相关jar包外,还需要配置windows的本地环境。将Hadoop解压到Windows目录下:D:\software\hadoop-2.9.0注意:如果下载的Hadoop是Linux版的,那么D:\softwar...

2018-10-30 16:04:23 611

原创 hive------设计原则

1 使用分区管理HDFS文件分区避免查询数据进行HDFS全盘扫描,一个表分区数量不要太多(导致每一个分区创建一个task,每一个task是一个jvm实例),没个分区中的文件尽量大(与HDFS数据块保持一致,默认128M)2 hive反标准化传统的RDBMS有标准化,例如唯一键、主键等;hive没有主键、唯一键的概念,目标优化磁盘驱动的IO性能3 hive允许从一个表中同时向多张...

2018-10-08 23:40:27 1275

转载 数据库中导出数据到HDFS

使用sqoopsqoop import -m 1 --------m 1 使用一个MapReduce,默认4个。--connect jdbc:mysql://主机IP:3306/数据库名 --username 用户名--password 用户密码 --table 表名--columns "name,age"--where "age>18"--target-di...

2018-10-08 19:55:51 951

原创 HBase安装

HBase是一个分布式的、面向列的开源数据库:它是一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。是nosql数据库前置环境:jdk,Hadoop,zookeeper...

2018-10-08 17:09:20 146

原创 sqoop安装

Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。前置环境:jdk,Hadoop,mysql,hbase,hive,zookeeper安装...

2018-10-08 17:09:17 157

原创 hive----执行钩子(适用于数据新增内容)

当表中储存的文件在hive之外被修改了了,就会触发执行钩子。例如:某脚本想分区中写入了新的日志信息,可以在hive cli中进行下面的调用hive -e 'alter table 表名 touch partittion(day=2010-12-18);'没有更深入的了解,个人觉得很符合实际工作的需求。如果有高手了解相关的信息,欢迎互粉,相互交流...

2018-09-29 23:40:56 1142 2

原创 hive--json解析函数

内置函数json_tuple(jsonStr, k1, k2, ...)参数为一组键k1,k2……和JSON字符串,返回值的元组。该方法比 get_json_object 高效,因为可以在一次调用中输入多个键hive中如何定义自己的函数: 1、先写一个java类(extends UDF,重载方法public C evaluate(A a,B b)),实现你所想要的函数的功能(传...

2018-09-29 17:04:50 14259

原创 hive---内置函数(3)集合函数、条件控制函数、窗口分析函数

集合函数sort_array(字段名);----对字段进行排序size(Map<k,v>);-------计算map个数,返回intmap_keys(Map<k,v>);-------字段中所有的key值    返回数组map_values(Map<k,v>);-------字段中所有的values值,返回数组条件控制函数case whe...

2018-09-29 16:29:43 1421

原创 hive---内置函数(2)表生成函数

表生成函数:可以理解为一个函数可以生成一个表行转列函数:explode(字段名--hive中集合类型中的array,map)----炸开字段内容distinct去重select distinct sub from (select explode(subjects) as sub from t_stu_subject) temp;表生成函数:lateral view目标表...

2018-09-28 22:43:59 775

原创 hive---内置函数(1)

类型转换函数cast强制转换select cast("5" as int)---------将字符串5转换为int类型 字符串转成时间戳select unix_timestamp("2018/09/20 19:50:29","yyyy/MM/dd HH:mm:ss");数学运算符round------正数的四舍五入,负数的五舍六入:select round (5.4)---...

2018-09-28 22:00:50 155

原创 hive---数据类型

数字类型tinyint------微整数(-128至127)smallint-------2字节相当于java中的shortint/integer---4字节bigint-----8字节(相当于java中的long)float----4字节(浮点型)小数double--8字节(浮点型精度更高)小数日期时间类型timestamp-------时间戳date----...

2018-09-28 18:22:05 430 1

原创 hive学习--查询语法

基本查询select * from 表名;select count(1) from 表名; -- 计数 单行函数select max(ip) from 表名;----------使用max函数 聚合函数select uid(字段名)from 表名 limit 10(数量);----------------------查询表中uid字段的头10...

2018-09-28 16:48:46 657

原创 hive学习--建分区表

创建内部表创建表语句:create table [if not exists] linuxidc_hive_log (  num string,  sn string,userkey string);执行后:会在库目录下生成表目录,默认分隔符为^A。create table [if not exists] linuxidc_hive_log (  num string,  sn str...

2018-09-28 13:34:52 4407

原创 Linux基础命令--全部替换文件某一内容

:/%s被替换内容(例如aaa)/目标内容(例如bbb)/g

2018-09-28 10:32:02 823

原创 Hadoop学习--创建多路径目录

hadoop fs -mkdir -p /user/bushu07/aaaa

2018-09-28 10:15:37 4196

原创 hive学习--基本使用和创建内外部表

数据库查看数据库: hive> show databases;                        hive>show databases like 'h.*';---展示以h开头的所有数据库,注意:like后字符串匹配使用正则创建数据库: hive> create database [if not exitsts] 数据库名              ...

2018-09-27 17:00:38 313

原创 hive学习--脚本化运行方式

hive 可以使用一次性命令的方式来执行给定的大量的hql语句。hive -e "SQL语句"例如: vi hivesqlaa.hql#! /bin/bashhive -e "create table t_name(name string,age int,sex string);"hive -e "insert into table t_name select a_name,a...

2018-09-27 17:00:33 197

原创 hive--数据操作(数据导入导出)

数据导入向表导入数据 load data [local] inpath 'hdfs://master:9000/xx/[文档]' [overwrite] into table 表  注意:如果表有分区,load data [local] inpath 'hdfs://master:9000/xx/[文档]'  [overwrite] into table 表 partition(year...

2018-09-27 17:00:16 231

原创 shell 后台运行

写个脚本:vi lalal.sh#!/bin/bachwhile truedoecho 'i love you baby baby.......'sleep 1done给脚本赋予执行权限:chmod +x lalal.sh在前台运行:./lalal.sh后台运行脚本在后台运行:./lalal.sh &  注意: 后台运行无法通过Ctrl+c等方法停止...

2018-09-27 16:43:35 555

原创 FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti

hive 启动 或者做增删该查时,如果报错FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaS...

2018-09-27 11:27:10 4319

原创 hdfs常用命令

查看hdfs大小:hadoop fs -df /创建目录:hadoop fs -mkdir /aaaaaa查看目录:hadoop fs -ls /aaaaaa移动目录或文件:hadoop fs -mvhdfs内部复制:hadoop fs -cp删除文件或目录:hadoop fs -rm -r导入文件到HDFS上:hadoop fs -put导出文件到本机:hadoop ...

2018-09-26 23:45:07 271

原创 基础知识--URI

URI:统一资源定位网页:http://www.baidu.com:80/index.html数据库:jdbc:mysql://sure1:3306/db_1HDFS:hdfs://namenode(所在的主机):9000(端口号)/(文件系统的根目录)可以分为三段理解://前为第一段:协议/前为第二段:资源所在主机和协议号/后为第三段:主机上的具体资源 ...

2018-09-26 22:44:18 134

原创 flume 安装配置一(采集目录中的新文件到HDFS)

1 解压改名(所谓压缩:将相同的二进制用特定的二进制代替,减少数据量)tar -zvxf apache-flume-1.8.0-bin.tar.gzrm apache-flume-1.8.0-bin.tar.gzmv apache-flume-1.8.0-bin/ flume-1.8.02 配置官方文档:http://flume.apache.org/ 左侧目录栏中找到...

2018-09-18 11:23:20 1820 1

原创 tomcat

是web的服务器的一种,在国内较为常用。特点:使用jvm为基础,支持http协议,支持多线程,能够保存http所不支持的数据存储功能。默认端口为8080。eclipse配置tomcat软件解压到英文目录:D:\software\apache-tomcat-7.0.82eclipse→Window→preferences→Server→Runtime Environments→右侧Add...

2018-09-12 22:35:13 153

原创 maven

maven是Apache的顶级项目,是一个项目管理工具。主要作用体现在pom(project object model工程对象模型),帮助构建项目,整理目录结构。例如:java运行时环境的包,ser(源代码的包),经过maven规划后,将不同类型的类,放入不同的包内。例如测试的包资源文件的包,第三方库(例如junit)。管理依赖,发布,打包等。下载:https://maven.apache.o...

2018-09-11 22:00:33 125

原创 java导入maven项目后有小红叉

1、导入maven项目后,这几处出现了小红叉2、出现这样的错误,是因为版本不对应的原因造成的。 3、点击项目,右键选择Properties ,查找Java Build Path,点击进去后会看到jdk的版本是1.5,我使用的是1.8,所以需要替换一下jdk的版本4 然后要选择Java Compiler,将版本号替换为1.8,点击Apply进行保存,选择Yes保存 ...

2018-09-11 10:09:58 1490

原创 Flume 组件

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,  并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。  flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部...

2018-09-10 20:46:33 539

原创 Kafka单机伪分布式安装

环境: 虚拟机         vmware 操作系统     红帽7(red hat 7)、centos7jdk1.8zookeeper  3.4.6安装配置解压:tar -zvxf kafka_2.11-1.1.0.tgz vi /etc/profileJAVA_HOME=/user/java/jdk1.8.0_144JRE_HOME=/user/java/...

2018-09-10 15:34:40 257

转载 kafka分布式集群安装

环境: 虚拟机         vmware 操作系统     红帽7(red hat 7)、centos7jdk1.8zookeeper  3.4.6安装配置解压:tar -zvxf kafka_2.11-1.1.0.tgz vi /etc/profileJAVA_HOME=/user/java/jdk1.8.0_144JRE_HOME=/user/java/...

2018-09-10 14:51:59 385

原创 zookeeper伪分布式配置安装

Zookeeper不但可以在单机上运行单机模式Zookeeper,而且可以在单机模拟集群模式 Zookeeper的运行,也就是将不同节点运行在同一台机器。我们知道伪分布模式下Hadoop的操作和分布式模式下有着很大的不同,但是在集群为分布 式模式下对Zookeeper的操作却和集群模式下没有本质的区别。显然,集群伪分布式模式为我们体验Zookeeper和做一些尝试性的实验提供了很大 的便利。比如,...

2018-09-07 17:08:18 432

原创 zookeeper单机配置安装

1 zookeeper简介(面试)ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,(是Google的Chubby一个开源的实现),是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 2 为什么需要zookeeper?分布式应用中出现“部分失败”(例如两个节点通过网络发送消息,...

2018-09-07 15:35:52 256

原创 Linux向Windows导入文件

使用SecureCRT,右键创建 →连接SFTP标签页sftp> lcd d:/sftp> get /home/hadoop/hive-2.3.3/conf/hive-exec-log4j2.properties

2018-09-07 10:13:41 504

原创 Linux环境下hive的安装

一 Hive简介在Hadoop生态圈中属于数据仓库的角色。Hive能够管理Hadoop中的数据,同时可以查询Hadoop中的数据。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制; Hive定义了简单的类SQL查询语言,称为HQL ,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟悉MapReduce开发...

2018-09-06 17:06:13 14752

原创 MySQL数据库Linux环境的安装

1 mysql数据的linux(centeros系统)安装准备    1.1 mysql在linux上支持三种安装方式    使用tar.gz解压方式安装(推荐);    使用rpm包进行安装;    在线安装;    1.2 准备    下载mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz文件包;    为当前环境设置 mysql用户和my...

2018-08-24 15:16:53 1633

原创 Hadoop集群的安装 二 安装hadoop集群

1 解压hadoop并配置相关环境变量以hadoop用户名解压hadoop压缩文件JAVA_HOME=/usr/java/jdk1.8.0_144JRE_HOME=/usr/java/jdk1.8.0_144/jreHADOOP_HOME=/home/hadoop/hadoop-2.9.0CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/...

2018-08-24 13:41:23 295

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除