cs的博客

1、环境准备：1.1、PowerDesigner软件安装：（略）基本傻瓜式安装，一直next到结束就行，自己也没找到特别好的安装包，就不提供了。注意事项：如果安装的是32位的PowerDesigner，需要将环境变量中的jdk变为32位的，使用的数据库链接包也为32位的。1.2、32位的jdk链接：https://pan.baidu.com/s/1dxg9K-MM48zWYe5LZqpEbA提取码：2nqv1.3、MySQL的32位connect.jar（3.1.14、5...

现在有表 vb_04；SQL> desc vb_04;Name               Type          Nullable Default Comments ------------------ ------------- -------- ------- -------- CHANNL_NUM         VARCHAR2(20)  Y             ...

linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之...

1：软件下载解压官网下载压缩包即可。注意：无论多少位的安装包，都要下载两个文件。两个文件一起选中，解压到同一个文件中。路径中最好为纯英文路径。            win64_11gR2_database_1of2.zip            win64_11gR2_database_2of2.zip2：防止先决条件检查失败应在安装之前1、在运行中（或键盘按 Win...

1：停止orcale的服务计算机→右键→管理→→找到所有的oracle开头的服务，右击选择停止。2：卸载在开始菜单中找到oracle安装文件，找到oracle自身的卸载工具Universal Installer。单击卸载产品，在产品清单窗口中，单击全部展开，除了OraDb11g_home1外，勾选其他项目，单击删除，根据软件提示单击下一步最终完成卸载。3：删除注册表相关项在命令...

在工作中，我们常常需要在Windows环境中开发Hadoop程序，比如使用eclipse开发MapReduce的程序等。为了方便程序的运行差错，除了程序中需要添加Hadoop的相关jar包外，还需要配置windows的本地环境。将Hadoop解压到Windows目录下：D:\software\hadoop-2.9.0注意：如果下载的Hadoop是Linux版的，那么D:\softwar...

1 使用分区管理HDFS文件分区避免查询数据进行HDFS全盘扫描，一个表分区数量不要太多（导致每一个分区创建一个task，每一个task是一个jvm实例），没个分区中的文件尽量大（与HDFS数据块保持一致，默认128M）2 hive反标准化传统的RDBMS有标准化，例如唯一键、主键等；hive没有主键、唯一键的概念，目标优化磁盘驱动的IO性能3 hive允许从一个表中同时向多张...

使用sqoopsqoop import -m 1 --------m 1 使用一个MapReduce，默认4个。--connect jdbc:mysql://主机IP:3306/数据库名 --username 用户名--password 用户密码 --table 表名--columns "name,age"--where "age>18"--target-di...

HBase是一个分布式的、面向列的开源数据库：它是一个结构化数据的分布式存储系统”。HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。是nosql数据库前置环境：jdk，Hadoop，zookeeper...

Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。前置环境：jdk，Hadoop，mysql，hbase，hive，zookeeper安装...

当表中储存的文件在hive之外被修改了了，就会触发执行钩子。例如：某脚本想分区中写入了新的日志信息，可以在hive cli中进行下面的调用hive -e 'alter table 表名 touch partittion(day=2010-12-18);'没有更深入的了解，个人觉得很符合实际工作的需求。如果有高手了解相关的信息，欢迎互粉，相互交流...

内置函数json_tuple(jsonStr, k1, k2, ...)参数为一组键k1，k2……和JSON字符串，返回值的元组。该方法比 get_json_object 高效，因为可以在一次调用中输入多个键hive中如何定义自己的函数： 1、先写一个java类（extends UDF,重载方法public C evaluate(A a,B b)），实现你所想要的函数的功能（传...

集合函数sort_array(字段名)；----对字段进行排序size(Map<k,v>);-------计算map个数，返回intmap_keys(Map<k,v>);-------字段中所有的key值    返回数组map_values(Map<k,v>);-------字段中所有的values值，返回数组条件控制函数case whe...

表生成函数：可以理解为一个函数可以生成一个表行转列函数：explode(字段名--hive中集合类型中的array，map)----炸开字段内容distinct去重select distinct sub from (select explode(subjects) as sub from t_stu_subject) temp;表生成函数：lateral view目标表...

类型转换函数cast强制转换select cast("5" as int)---------将字符串5转换为int类型 字符串转成时间戳select unix_timestamp("2018/09/20 19:50:29","yyyy/MM/dd HH:mm:ss");数学运算符round------正数的四舍五入，负数的五舍六入：select round (5.4)---...

数字类型tinyint------微整数（-128至127）smallint-------2字节相当于java中的shortint/integer---4字节bigint-----8字节（相当于java中的long）float----4字节（浮点型）小数double--8字节（浮点型精度更高）小数日期时间类型timestamp-------时间戳date----...

基本查询select * from 表名;select count(1) from 表名; -- 计数 单行函数select max(ip) from 表名;----------使用max函数 聚合函数select uid（字段名）from 表名 limit 10（数量）;----------------------查询表中uid字段的头10...

创建内部表创建表语句：create table [if not exists] linuxidc_hive_log (  num string,  sn string,userkey string);执行后：会在库目录下生成表目录，默认分隔符为^A。create table [if not exists] linuxidc_hive_log (  num string,  sn str...

:/%s被替换内容（例如aaa）/目标内容（例如bbb）/g

hadoop fs -mkdir -p /user/bushu07/aaaa