m0_49092046的博客

原创 VMware网络配置

原创 hive里的ODS DWD DWB DWS ADS

1.数据仓库DW1.1简介****Data warehouse（可简写为DW或者DWH）数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的，是为前端查询和分析作为基础，主要应用于OLAP（on-line Analytical Processing），支持复杂的分析操作，侧重决策支持，听且提供直观易懂的查询结果。比较流行的有：AWS Redshift，Greenplum，Hive等。1.

原创 Beeline连接hiveserver2报错 User: root is not allowed to impersonate root

Beeline连接hiveserver2报错报错信息Error: Could not open client transport with JDBC Uri: jdbc:hive2://node-4:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationEx

原创 hive的分区表

分区表分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。分期表的基本操作引入分区表（需要根据日期对日志进行管理）/data/hive/warehouse/log_partition/20170702/20170702.log/data/hive/warehouse/log

原创 hive向表中加载数据的Load和Insert

hive向表中加载数据的Loadload语法hive> load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] | into table tabName [partition (partcol1=val1,…)];（1）load data:表示加载数据（2）local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表（3）inpath:表示加载数据的路径（4）overw

原创 IDEA连接MongoDB报com.mongodb.MongoSocketOpenException: Exception opening socket

标题 IDEA连接MongoDB报com.mongodb.MongoSocketOpenException: Exception opening socket报这样的错是因为MongoDB在3.6版本之后把bind_id的值默认为localhost,就是你的电脑的ip地址当你的电脑ip给虚拟机ip不一样时就报这样的错有下面2种解决方案方案一在conf/Mongodb.conf里添加bind_ip=0.0.0.0,添加这个参数是让任何的ip可以连接MongoDB#指定启动端口port=

原创 scala实现斐波那契数列

scala实现斐波那契数列什么是斐波那契数列?斐波那契数列（Fibonacci sequence），又称黄金分割数列、因数学家莱昂纳多·斐（LeonardodaFibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”，指的是这样一个数列：0、1、1、2、3、5、8、13、21、34、……在数学上，斐波那契数列以如下被以递推的方法定义：F(0)=0，F(1)=1,>F(n)=F(n - 1)+F(n - 2)（n ≥ 3，n ∈> N*）在现代物理、准晶体结构、化学等领域，斐波纳契

原创 JDK 14的安装

1.JDK 14的安装JDK下载网址: https://www.oracle.com/java/technologies/javase-downloads.html点击安装:一路下一步,最好不好改变默认路径下载完后打开文件夹:JDK14文件夹里是没有jre的,需要手动添加进入C:\Program Files\Java\jdk-14\bin后输入下边的命令:jlink.exe --module-path jmods --add-modules java.desktop --output

原创 linux命令整理

linux命令1.帮助命令:可以用来查看命令作用man +命令help +命令2.常用的快捷键ctrl+l 清屏 ctrl +c 退出 :wq 保存加退出 :q! 强制退出 qwd 显示当前工作目录的绝对路径上下键 查看执行过的命令 ctrl+q 退出 Tab键用来自动补全3.文件目录操作命令cat 查看文件 进入后i键 可以编辑文件 ls:用来显示 目录列表cp 复制文件或文件夹 cp [选项] [源文件] [目标文件]mkdir -p 创建多层目录 cd 将当前工作目录切换到