- 博客(17)
- 收藏
- 关注
RSS订阅原创 【数据库表及字段统计SQL】【mysql】【clickhouse】【oracle】
最近在一些元数据整理时，需要对数据库进行澄清，奈何数据库没有专门的运维工程师，得自行取相关信息，故最终整理了相关统计语句。
2023-11-19 18:03:38
995
原创 关于TEZ引擎的部分缺陷
很久没更新博客了，今天发现以前的小点还是等帮助到一些朋友的，今天也更新一下，打个卡。今天说一下TEZ引擎使用时容易犯错的点吧。首先要知道TEZ是什么，下图为官网上对TEZ的简略图。官网首页也介绍了Tez的2个主要设计主题是：1.通过以下方式增强最终用户的能力：富有表现力的数据流定义API灵活的输入-处理器-输出运行时模型不可知数据类型简化部署2，执行性能与Map Reduce相比性能提升最佳资源管理在运行时计划重新配置动态物理数据流决策TEZ的执行基础还是DAG任务，从原理上讲
2020-09-04 22:12:47
1853
2
原创 hive使用中遇到的一些小问题及总结
博客都是用的多，登录的少了，端午放假闲来无事就登一登，顺便总结下自己在写hive sql时遇到的些小问题。1，当你进行一个判断时，比如这样：if(A in (20,21,22,30),‘YES’,‘NO’) AS A先不管前后逻辑，这语句表面上看是不是没毛病，当然脑筋转的快或者基础不错的小伙子肯定想到我写在这儿就肯定是有个坑的呀，没错，我就在这儿翻了一次水。hive常用类型我们都知道为STRING，DECIMAL,BIGINT等等，在A字段为STRING类型时，这么匹配在hive中会进行转换，也就是结
2020-06-25 22:17:48
679
原创 Cloudera Manager安装完后hive使用lzo小坑计
前提：打开hive能正常打开，且服务无报错，hdfs中hive库正常存在。问题：hive中无法查看库，表，但是建表后hdfs中有表结果显示。报错信息：明显报错-> Error in configuring object（配置对象时出错）。问题详情：查看/tmp/用户名/hive.log日志，发现causeBy->Class com.hadoop.compression.lzo.L...
2020-04-07 15:55:15
394
3
原创 win10下编译Apache版本hadoop2.10.0，附资源
今天是三月尾巴了，然后博文还没打卡，今天临时编译了一下hadoop在window上的环境包，至于版本就不要纠结了，比如问为啥不用hadoop2.6或者hadoop3版本而用2.10.0版本。集群都搭好了，总不能改集群吧，之所以Windows环境也改成对应版本也是为了调试，出错也好查些，废话少说，进入正题。1.环境准备。这里部分是从这位可爱的网友Zeus借鉴来的，先行者的肩膀。https://...
2020-03-31 23:05:48
1917
5
原创 在shell脚本中for循环执行ssh操作远程主机命令执行失效的问题
首先看一下shell脚本：#! /bin/bashfor i in node2 node1dossh $i ‘java -classpath /opt/file/project_datawarehouse/log-collector-1.0-SNAPSHOT-jar-with-dependencies.jar com.jiahua.appclient.AppMain $1 $2 >...
2020-02-13 12:30:01
4374
原创 安装oozie-5.1.0遇到的坑
正好编译还在进行，抽时间写写踩坑日志。一 安装oozie，最新版5.2.0，而网上较多都是4.3.1，我就试了试5.1.0。刚从cdh版本换成apache版本，很多都要重新来，cdh版本oozie都是编译好的，下载下来一个多G，都需要10多步的配置，然而从apache官网下的版本只需要2.7M，需要自己编译，这其中的坑数不胜数也，先把编译前的坑写一点，以后遇到了再完善。1.1 从官网下的版...
2020-02-10 13:02:43
1315
原创 JS中的数据结构简单学习
//console.log(“foreach 循环”);//数组的遍历console.log(“JS数据类型的学习”);//var永不销毁，所以用let定义数据，便于垃圾回收console.log(“数组forEach循环”);let a = [‘A’, ‘B’, ‘C’];a.forEach(function (element,index,array) {// element: 指...
2020-01-03 08:25:06
94
原创 回顾MySQL安装问题
带新手时发现了好久以前的小bug，甚至都忘了自己有没有遇到过。安装环境：win7 64位mysql安装包：mysql-5.7.27-winx64.zip安装步骤：第一步：将安装包解压到一个目录下，比如我是D:\MySQL5.7\mysql-5.7.27-winx64首先要看目录下有没有data文件夹，如果没有就创建一个空的data文件夹，不然等下安装的时候会报一个服务没有问题但是无法启动...
2019-11-28 10:41:39
118
原创 centos7大数据集群搭建-hadoop集群搭建大全
centos7大数据集群搭建转载地址https://www.jianshu.com/p/ddb868bd97cd前置条件有起码三台虚拟机，我有四台，且各本机名和ip地址明确vi /etc/hosts，每台机都配，localhost对应即可192.168.43.53 localhost192.168.43.53 mynode192.168.43.122 node1192.168.43....
2019-10-29 09:53:40
841
原创 IDEA连接HIVE，踩坑日志-Failed initialising database.
今天使用idea本地连接Linux的hive数据库遇到了问题，代码如下：def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setAppName(“adver”).setMaster(“local[*]”)val sparkSession = SparkSession.builder().config(...
2019-10-25 11:51:01
1872
原创 在Linux上部署Spark集群
Spark集群部署方法一：//spark安装1 解压缩/usr/local/app2/spark目录下tar -zxvf spark-2.3.1-bin-hadoop2.6.tgzmv spark-2.3.1-bin-hadoop2.6 spark2 环境变量，都需要配置export SPARK_HOME=/usr/local/app2/spark/sparkexport PATH=...
2019-10-14 10:36:39
571
原创 sqoop 从hive中导出数据到mysql遇到的错误及解决方法
以下是sqoop语句：./sqoop export –connect jdbc:mysql://localhost:3306/newtext –username root --password “root” –table emp –fields-terminated-by ‘\t’ –export-dir /user/hive/warehouse/bt88.db/emp1 -m 1...
2019-10-07 21:21:39
4511
2
原创 提示客户机操作系统已禁用CPU，请关闭或重置虚拟机，解决思路
今天安装Hadoop虚拟机时遇到了一个错误：提示客户机操作系统已禁用CPU，请关闭或重置虚拟机这我就纳闷了撒，我linux运行没问题啊，和室友同一个包啊，不过既然报错了，咱就得改，咋改呢，上百度。1.解决方案a.虚拟机>设置>选项>常规在客户机操作系统这个选项中选择 VMware ESX(X)，里面有三个选项，依次运行，成功即可。很遗憾，这里又报错。这就不用搜报错信息了，百...
2019-09-14 13:55:26
10834
3
原创 Linux初学者如何安装jdk，tomcat，mysql和svn
1 查看Linux SSH远程连接是否开启ps -ef | grep ssh service ssh start 开启ssh2 查看ip地址ifconfig 前三级应相同3.关闭防火墙service iptables stop 方法一，如果不行，方法二( why? :系统服务都用systemctl命令来开启service，它是CentOS7的服务管理中主要的工具，融合了之前serv...
2019-09-06 13:32:44
184
原创 初识ELK
jdk1.8的安装要点vi etc/profile打开配置文件修改i进入修改模式，在里面粘贴如下语句，路径为解压后的存放路径 # This is java jdk1.8.0.11 environment variable configuration export JAVA_HOME=/home/baba/Desktop/Java/jdk1.8.0_11 export PATH=$JAVA_...
2019-09-06 13:17:50
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人