- 博客(16)
- 收藏
- 关注
RSS订阅原创 sbin和bin目录命令不可用
1.、etc/profile配置出错2.、/etc/profile不可用upset/etc/profile 先禁用reboot 重启
2020-12-21 14:37:58
304
1原创 LOAP引擎：clickhouse06：简单介绍几个JSON函数
数据准备create table tb_json(cont String) engine=Log;insert into tb_json values('{"movie":"1207","rate":"4","timeStamp":"978300719","uid":"1"}'),('{"movie":"2028","rate":"5","timeStamp":"978301619","uid":"1"}'),('{"movie":"531","rate":"4","timeStamp":"
2020-12-07 23:03:02
516
原创 LOAP引擎：clickhouse05： 漏斗函数的应用
部分数据{"account":"l4d9TM","appId":"cn.doitedu.app1","appVersion":"2.0","carrier":"小米移动","deviceId":"KVlABkbMqqwn","deviceType":"REDMI-5","eventId":"adClick","ip":"180.62.91.180","latitude":25.213352855705107,"longitude":100.58718180057615,"netType":"WIFI"
2020-12-07 22:11:20
280
原创 LOAP引擎：clickhouse04： 特殊sql语句写法
1.withwith (select count(1) from tb_user) as cnt select sum(age) / cnt from tb_user ;2.array joincreate table tb_user4(id Int8,arr Array(String))engine=Log;insert into tb_user4 values(1,['yyy','jjj','www']),(2,Array('uuu','ooo'));s.
2020-12-07 00:38:22
124
原创 LOAP引擎：clickhouse03：文件的导入导出方式
1.文件导入方式1.HDFS方式代码如下：create table tb_user1(id Int8,name String )engine = HDFS('hdfs://linux01:8020/user.csv','CSV'); ---HDFS('文件的地址',文件的格式)2.文件引擎文件以空格隔开时1.建表drop table tb_file; create table tb_file(id UInt8,name String)engine=File(
2020-12-07 00:26:17
543
原创 LOAP引擎：clickhouse02： 引擎及sql语法
**clickhouse 的sql语句要求很严格，区分大小写建表数据类型：Int8 .... Int256UInt8 UInt256Float32 Float64StringDateDateTime常用引擎1.日志引擎具有最小功能的轻量级引擎。当您需要快速写入许多小表（最多约100万行）并在以后整体读取它们时，该类型的引擎是最有效的。1.Log引擎（数据分块）create table `tb_user`(id String ,name String...
2020-12-04 22:24:57
229
原创 LOAP引擎：clickhouse 01： 介绍、安装及集群搭建
前言ClickHouse是一个完全的列式数据库管理系统，允许在运行时创建表和数据库，加载数据和运行查询，而无需重新配置和重新启动服务器，支持线性扩展，简单方便，高可靠性，容错。它在大数据领域没有走 Hadoop 生态，而是采用 Local attached storage 作为存储，这样整个 IO 可能就没有 Hadoop 那一套的局限。它的系统在生产环境中可以应用到比较大的规模，因为它的线性扩展能力和可靠性保障能够原生支持 shard + replication 这种解决方案。它还提供了一些 SQL
2020-12-04 19:57:52
729
原创 hive07: hive中sql常用函数
1.case..when数据 求出不同部门男女各多少人王奔 A 男娜娜 A 男宋宋 B 男凤姐 A 女热巴 B 女慧慧 B 女建表并导入数据create table tb_emp(name string,dname string,gender string)row format delimited fields terminated by '\t';load data local inp...
2020-12-03 23:40:14
671
原创 hive06: hive的排序方法
1.order by 全局排序1,a4,b5,b7,c3,a2,a8,e6,ccreate table tb_sort(id int,name string)row format delimited fields terminated by ',';load data local inpath '/data/x' into table tb_sort;select * from tb_sort order by id;全局排序，查询结果慢2.dist.
2020-12-03 21:32:00
89
原创 hive01 . hive配置和安装
1.hive安装详细步骤hive的安装1 mysql数据 远程连接权限 1) mysql -uroot -proot （要把密码改为root 改密码方法： set password=PASSWORD ('root') ; ） 2) set global validate_password_policy=0; 3) set global validate_password_length=1; 这个两个设置以后 密码...
2020-12-01 19:33:26
154
原创 hive02. hive命令
1.常见的交互命令[root@doit01hive]$ bin/hive -helpusage: hive-d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify t...
2020-12-01 19:33:16
124
原创 hive03 .hive建表
1.建表语法建表create [external] table [if not exists] table_name [(col_name data_type [comment col_comment], ...)] [comment table_comment] [partitioned by (col_name data_type [comment col_comment], ...)] 分区[clustered by (col_name, col_name, ...) 分桶[sort
2020-12-01 19:32:14
105
原创 hive04 . hive数据导入和导出方式
1.指定locationcreate table tb_log2(id int ,name string )row format delimited fields terminated by "," location '/data/log/' ; -- 指定了路径，路径的文件会被直接加载到table中2.可以将结构化数据直接put到表目录中 mv到指定的目录1.在网址http://linux01:9870中查到自己想要将数据传入的表格的位置通常在/user/hive/wa.
2020-12-01 19:31:54
125
原创 hive05： hive的分区表及分桶表
目录分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集1.静态分区2.动态分区3.修改分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集1.静态分区文件中存储的指定规则的数据创建静态分区步骤：1）前提有静态数据2020112.
2020-12-01 19:30:29
143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人