- 博客(8)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 prestoDB windows 下idea 编译避坑
1、Failed to execute goal org.apache.maven.plugins:maven-dependency-plugin:3.1.1:analyze-only (default) on project presto-main: Dependency problems found -> [Help 1] 解决方法： 1、用mvn 命令分析依赖问题 mvn dependency:analyze 经过打印日志发现or...
2021-07-16 18:00:04
307
2
原创 OLAP
1、随着数据价值越来越重视，释放能力，意味着可以服务更多客户，且快速响应，真正在线化。2、尽量保存全量数据，多数据源，多场景。混合运，私有云加公有云。数据使用方式，漏斗模型，标签模型，数据洞见4、更实时，实时写入，更新，删除，维度指标，度量值进行建模，无法穷举业务场景，自由及时每秒几百万写入速度5、在线分析5.1、分析简单化5.2、用户可交互探索5.3、安全风控5.4、推荐共性生产-清洗-使用-匹配RT在线分析系统：混合负载，每个query，独立负载，
2020-08-12 15:54:34
116
原创 【Hive】 HDFS小文件优化三重奏
小文件指的是hdfs文件远远小于hdfs block块的大小，比如默认的block大小是128m，文件size只有几k。当这种类型的文件又很多的情况下，就会造成在spark任务处理过程中map的任务数过多（我们都知道map数量的决定因素之一是一个hdfs文件对应一个map）。一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。 如果小文件从业务上无法从源头减少，那么可以参考如下几类优化方式：1、设置JVM重用次数 hadoop 通常默...
2020-07-31 16:24:40
259
原创 linux centos7.4 针对新建用户登录后显示bash-4.2
usermod -s /bin/bash -d/home/test test如果不生效着配置/etc/profile export PS1='[\u@\h \w]'source /etc/profile
2017-11-14 10:16:14
2316
原创 ubuntu mysql5.7 改变数据目录
1、改变/etc/my.cnf 或者 /etc/mysql/mysql.conf.d/mysqld.cnf变更如下属性，日志以及临时数据可以同时变更datadir = 变更的数据目录2、如果是新安装的mysql尚未使用，则可以直接使用/etc/mysql/mysqld --initialize --user=mysql,进行数据库初始化如果是已经被使
2017-08-17 16:35:42
524
原创 mysql中文编码问题
新建了一个centos7的mysql，在程序录入数据后发现一切中文改为了文号，疑问的是，入库程序是utf-8，数据库以及表都是utf-8，在外面的数据库都没问题。通过命令show variables like 'character_set_%';返回结果中character_set_server不是utf8.则考虑可能是/etc/my.cnf 未配置 character_set_s
2017-02-15 16:04:46
217
转载 防火墙状态处理-centos
关闭虚拟机防火墙：关闭命令： service iptables stop永久关闭防火墙：chkconfig iptables off两个命令同时运行，运行完成后查看防火墙关闭状态service iptables status1 关闭防火墙-----service iptables stop 2 启动防火墙-----service iptables star
2016-09-12 08:56:45
427
原创 Linux相关命令百科释义
Expect是一个免费的编程工具语言，用来实现自动和交互式任务进行通信，而无需人的干预。Expect的作者Don Libes在1990年 开始编写Expect时对Expect做有如下定义：Expect是一个用来实现自动交互功能的软件套件 (Expect [is a] software suite for automating interactive tools)。使用它系统管理员 的可以创建脚本用来实现对命令或程序提供输入，而这些命令和程序是期望从终端（terminal）得到输入，一般来说这些输入都需要手工
2016-09-08 15:25:12
181
win-jdk-8u261-x64.zip
2020-08-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人