基础知识
cs_mycsdn
慢慢整理所学的知识
展开
-
基础知识--URI
URI:统一资源定位网页:http://www.baidu.com:80/index.html数据库:jdbc:mysql://sure1:3306/db_1HDFS:hdfs://namenode(所在的主机):9000(端口号)/(文件系统的根目录)可以分为三段理解://前为第一段:协议/前为第二段:资源所在主机和协议号/后为第三段:主机上的具体资源 ...原创 2018-09-26 22:44:18 · 136 阅读 · 0 评论 -
Linux定时任务
linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使用者控制计划任务的命令 :crontab 命令。crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之...原创 2018-12-06 18:02:12 · 221 阅读 · 0 评论 -
oracle安装
1:软件下载解压官网下载压缩包即可。注意:无论多少位的安装包,都要下载两个文件。两个文件一起选中,解压到同一个文件中。路径中最好为纯英文路径。 win64_11gR2_database_1of2.zip win64_11gR2_database_2of2.zip2:防止先决条件检查失败应在安装之前1、在运行中(或键盘按 Win...转载 2018-11-15 15:53:33 · 247 阅读 · 0 评论 -
oracle软件卸载------超级麻烦
1:停止orcale的服务计算机→右键→管理→→找到所有的oracle开头的服务,右击选择停止。2:卸载在开始菜单中找到oracle安装文件,找到oracle自身的卸载工具Universal Installer。单击卸载产品,在产品清单窗口中,单击全部展开,除了OraDb11g_home1外,勾选其他项目,单击删除,根据软件提示单击下一步最终完成卸载。3:删除注册表相关项在命令...原创 2018-11-15 15:45:29 · 1090 阅读 · 0 评论 -
Linux向Windows导入文件
使用SecureCRT,右键创建 →连接SFTP标签页sftp> lcd d:/sftp> get /home/hadoop/hive-2.3.3/conf/hive-exec-log4j2.properties原创 2018-09-07 10:13:41 · 509 阅读 · 0 评论 -
hive------设计原则
1 使用分区管理HDFS文件分区避免查询数据进行HDFS全盘扫描,一个表分区数量不要太多(导致每一个分区创建一个task,每一个task是一个jvm实例),没个分区中的文件尽量大(与HDFS数据块保持一致,默认128M)2 hive反标准化传统的RDBMS有标准化,例如唯一键、主键等;hive没有主键、唯一键的概念,目标优化磁盘驱动的IO性能3 hive允许从一个表中同时向多张...原创 2018-10-08 23:40:27 · 1284 阅读 · 0 评论 -
数据库中导出数据到HDFS
使用sqoopsqoop import -m 1 --------m 1 使用一个MapReduce,默认4个。--connect jdbc:mysql://主机IP:3306/数据库名 --username 用户名--password 用户密码 --table 表名--columns "name,age"--where "age>18"--target-di...转载 2018-10-08 19:55:51 · 957 阅读 · 0 评论 -
hive---内置函数(3)集合函数、条件控制函数、窗口分析函数
集合函数sort_array(字段名);----对字段进行排序size(Map<k,v>);-------计算map个数,返回intmap_keys(Map<k,v>);-------字段中所有的key值 返回数组map_values(Map<k,v>);-------字段中所有的values值,返回数组条件控制函数case whe...原创 2018-09-29 16:29:43 · 1425 阅读 · 0 评论 -
hive---内置函数(2)表生成函数
表生成函数:可以理解为一个函数可以生成一个表行转列函数:explode(字段名--hive中集合类型中的array,map)----炸开字段内容distinct去重select distinct sub from (select explode(subjects) as sub from t_stu_subject) temp;表生成函数:lateral view目标表...原创 2018-09-28 22:43:59 · 776 阅读 · 0 评论 -
hive---内置函数(1)
类型转换函数cast强制转换select cast("5" as int)---------将字符串5转换为int类型 字符串转成时间戳select unix_timestamp("2018/09/20 19:50:29","yyyy/MM/dd HH:mm:ss");数学运算符round------正数的四舍五入,负数的五舍六入:select round (5.4)---...原创 2018-09-28 22:00:50 · 157 阅读 · 0 评论 -
hive---数据类型
数字类型tinyint------微整数(-128至127)smallint-------2字节相当于java中的shortint/integer---4字节bigint-----8字节(相当于java中的long)float----4字节(浮点型)小数double--8字节(浮点型精度更高)小数日期时间类型timestamp-------时间戳date----...原创 2018-09-28 18:22:05 · 432 阅读 · 1 评论 -
hive学习--建分区表
创建内部表创建表语句:create table [if not exists] linuxidc_hive_log ( num string, sn string,userkey string);执行后:会在库目录下生成表目录,默认分隔符为^A。create table [if not exists] linuxidc_hive_log ( num string, sn str...原创 2018-09-28 13:34:52 · 4418 阅读 · 0 评论 -
Linux基础命令--全部替换文件某一内容
:/%s被替换内容(例如aaa)/目标内容(例如bbb)/g原创 2018-09-28 10:32:02 · 827 阅读 · 0 评论 -
Hadoop学习--创建多路径目录
hadoop fs -mkdir -p /user/bushu07/aaaa原创 2018-09-28 10:15:37 · 4207 阅读 · 0 评论 -
hive学习--脚本化运行方式
hive 可以使用一次性命令的方式来执行给定的大量的hql语句。hive -e "SQL语句"例如: vi hivesqlaa.hql#! /bin/bashhive -e "create table t_name(name string,age int,sex string);"hive -e "insert into table t_name select a_name,a...原创 2018-09-27 17:00:33 · 198 阅读 · 0 评论 -
shell 后台运行
写个脚本:vi lalal.sh#!/bin/bachwhile truedoecho 'i love you baby baby.......'sleep 1done给脚本赋予执行权限:chmod +x lalal.sh在前台运行:./lalal.sh后台运行脚本在后台运行:./lalal.sh & 注意: 后台运行无法通过Ctrl+c等方法停止...原创 2018-09-27 16:43:35 · 561 阅读 · 0 评论 -
oracle学习-- 批量导入txt文件
现在有表 vb_04;SQL> desc vb_04;Name Type Nullable Default Comments ------------------ ------------- -------- ------- -------- CHANNL_NUM VARCHAR2(20) Y ...原创 2019-01-03 11:17:37 · 4171 阅读 · 0 评论