大米_2333-CSDN博客

原创 Scala学习笔记（1）

Scala中的类object默认是静态的1.变量的定义特点：1可以自动推导数据类型，2代码行末不需要";"，3是强数据类型编程语言，4使用val修饰的变量不可以更改变量的值，使用var修饰的变量可以变化5建议使用val修饰变量，静态变量加载较快6变量定义的时候需要赋值2字符串的拼接print(s"$j*$i"+"="+(i*j)+" ")3数据类型3.1数据类型分类.Any是scala中所有类型的父类，类似于java的ObjectAny的子类分为AnyVal(数值类)和AnyR

2020-10-30 21:25:11 103

原创我的第一个maven的web项目

1.解压tomcat到指定路径2.创建maven的web项目2.1新建maven项目java222.2修改本地仓库3在新建的项目java22中创建文件a.html,内容如下：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><h1&

2020-10-24 20:50:19 107

原创 impala简介

这里写目录标题1 impala简介1.1特点1.2启动客户端命令1.3元数据1.4修改权限命令1.4.1开放hdfs用户超级管理员1.4.2将用户切换为hdfs超级管理员1.4.3修改权限1.4.4修改本地运行模式1.5外部参数1.6内部参数1.7基本语句1.8Hue页面1.9基本语法1.9.1数据类型1.9.2建库1.9.3建表1.9.4创建分区表1.10视图1.11DML语言1.12格式化数据1.13特殊的格式化数据Parquet1 impala简介impala是一种新型数据查询系统。能用SQL查询

2020-10-23 22:55:33 874

原创 clickhouse 中JDBC代码

package jdbc;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import ru.yandex.clickhouse.ClickHouseDriver;/** * @author stjzstart * @create 2020-10-21 21:43 */public class CHJ.

2020-10-21 21:50:58 494

原创 clickhouse创建分布式引擎表

1.没有副本的分布式引擎表1.1 修改文件/etc/clcikhouse-server/config.xml， <listen_host>::</listen_host> 115  116  117 118...

2020-10-21 20:40:51 943

原创 click-house函数的使用

1.from表函数1.1 hdfs格式：hdfs(url,format,struct)代码：select toInt32OrNull(id) ,name ,jobfrom hdfs('hdfs://linux01:8020/doit18/user2.csv' ,'CSV','id String ,name String,job String');1.2 file格式：file(path,format,struct)代码： select * from fi

2020-10-20 10:53:19 444

原创 click-house其他引擎

1.其他引擎1.1memory特点：数据不会写入到磁盘，重启机器以后表还在但是数据丢失应用场景：测试代码段代码：-- 创建一个Memory引擎的表create table tb_memory(id Int8 , name String) engine = Memory ;-- 插入数据insert into tb_memory values (1,'zss'),(2,'lss'),(3,'peiqi') ;-- 存储数据的文件夹中没有对应的表文件夹-- 查看数据 selec

2020-10-20 10:40:54 229 1

原创 ClickHouse MergeTree家族引擎

1.1ClickHouse MergeTree家族引擎特点：1支持数据的更新2支持数据的排序3支持快速查询4 支持建立索引5支持数据分区6 可以自动合并，去重，局部聚合1.2代码解读1.2.1代码基本格式CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1] [TTL expr1],

2020-10-18 22:49:32 158

原创 ClickHouse简介

olap定义：完全列式存储的数据库管理系统，可自己管理数据，读取mysql hdfs 网络本地文件例子：select * from mysql_tb_user join hive_tb_user存储海量数据，解决并发问题，完全列式存储olap适用场景：多维度不固定，运算不固定，及时Hbase适用场景：单一维度Hive适用场景：固定多维度olap优点：1及时返回结果；原因：1 用C语言写的 2 利用c语言和硬件的交互优势，更好读写数据 3 方便实时数据结构管理数

2020-10-18 21:45:35 582 1

原创 hive优化

1 查询的时候不要写*，不要生成笛卡尔积2 hive中的文件格式尽量用列式存储，如 ORC parquet3使用分区表，可设置二级分区4使用分桶表5合理设置reduce个数6 不要使用压缩文件7测试代码逻辑，本地运行模式，set mapreduce.framework.name=local8join:map端的join，小表join大表9不要用Count(Distinct)函数10 关闭严格模式11 SQL优化...

2020-10-18 21:02:48 47