干货

spark sql 因为引用变量日期没有加引号，导致没有读取到数据

1.将hive数据保存为一个csv文件，但是这个文件在线上服务器上，无法直接下，那么可以把这个文件传到Hadoop HDFS上，然后在HUE的文件管理界面下载。 hive存为csv文件命令 hive -e "set hive.cli.print.header=true; show partitions xxx.xxx ;" | sed 's/[\t]/,/g' > partitions.csv 上传命令 hadoop fs -put partitions.csv /user/xxx/xxx ..

1. 泛型限定 泛型中的符号 <: >: <% : + - 符号 作用 [T <: UpperBound] 上界 [T >: LowerBound] 下界 [T <% ViewBound] 视界 [T : ContextBound] 上下文界 [+T] 协变...

1.安装MySql 卸载自带的 检查linux是否带有mysql的安装包 rpm -qa | grep mysql 卸载centos6.5自带的mysql的包 例如：rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 方式一：yum安装 ①安装 yum install -y mysql mysql-server my...

hbase集群不能启动，要么只起来某几台，要么是HMaster起来了，RegionServer没起来。 原因：时间不同步。 进行时间同步。 如果能联网，就用 ntpdate -u cn.pool.ntp.org 不能联网，就手动指定date 010319492019.30（月日时分年.秒） ...

/Volumes/ds/service/spark-2.4.0-bin-hadoop2.7/bin/spark-class: line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_201/Contents/Home/bin/java: No such file or directory 正确的路径在/Library/Java/JavaVirt...

用root用户修改配置文件，没有root用户，先创建一个。 例如： vi /etc/profile 保存退出： ：wq! 1.java 一般安装位置 /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home 2.安装hadoop 参考：https://blog.csdn.net/fox64194167/article...

使用brew安装hadoop，使用无法正常市用。最终是使用下载解压包的方式。 问题1 Invalid HADOOP_COMMON_HOME xin:out root# hadoop jar /usr/local/Cellar/hadoop/3.1.2/libexec/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.1.2-so...

需求 以下是qq的好友列表数据，冒号前是一个用，冒号后是该用户的所有好友（数据中的好友关系是单向的） A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O: