![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Big Data
文章平均质量分 80
datadev_sh
这个作者很懒,什么都没留下…
展开
-
spark sql 因为引用变量日期没有加引号,导致没有读取到数据
spark sql 因为引用变量日期没有加引号,导致没有读取到数据原创 2020-09-04 14:32:20 · 837 阅读 · 0 评论 -
大数据工作中变通技巧
1.将hive数据保存为一个csv文件,但是这个文件在线上服务器上,无法直接下,那么可以把这个文件传到Hadoop HDFS上,然后在HUE的文件管理界面下载。hive存为csv文件命令hive -e "set hive.cli.print.header=true; show partitions xxx.xxx ;" | sed 's/[\t]/,/g' > partitions.csv上传命令hadoop fs -put partitions.csv /user/xxx/xxx..原创 2020-08-08 18:56:44 · 265 阅读 · 0 评论 -
scala中各种符号的意思
1. 泛型限定泛型中的符号 <: >: <% : + - 符号 作用 [T <: UpperBound] 上界 [T >: LowerBound] 下界 [T <% ViewBound] 视界 [T : ContextBound] 上下文界 [+T] 协变...原创 2018-04-08 16:49:38 · 15701 阅读 · 2 评论 -
Linux安装软件 MySql Nginx
1.安装MySql卸载自带的检查linux是否带有mysql的安装包rpm -qa | grep mysql卸载centos6.5自带的mysql的包例如:rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64方式一:yum安装①安装yum install -y mysql mysql-server my...原创 2019-04-18 21:02:30 · 227 阅读 · 0 评论 -
hbase集群不能启动
hbase集群不能启动,要么只起来某几台,要么是HMaster起来了,RegionServer没起来。原因:时间不同步。进行时间同步。如果能联网,就用 ntpdate -u cn.pool.ntp.org不能联网,就手动指定date 010319492019.30(月日时分年.秒)...原创 2019-01-03 19:58:51 · 763 阅读 · 0 评论 -
安装spark报错java路径不对
/Volumes/ds/service/spark-2.4.0-bin-hadoop2.7/bin/spark-class: line 71: /Library/Java/JavaVirtualMachines/jdk1.8.0_201/Contents/Home/bin/java: No such file or directory正确的路径在/Library/Java/JavaVirt...原创 2019-02-26 16:07:43 · 3102 阅读 · 1 评论 -
mac搭建本地大数据开发环境
用root用户修改配置文件,没有root用户,先创建一个。例如:vi /etc/profile 保存退出: :wq!1.java一般安装位置/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home2.安装hadoop参考:https://blog.csdn.net/fox64194167/article...原创 2019-02-26 16:24:54 · 4609 阅读 · 0 评论 -
mac搭建大数据环境遇到的问题
使用brew安装hadoop,使用无法正常市用。最终是使用下载解压包的方式。问题1 Invalid HADOOP_COMMON_HOMExin:out root# hadoop jar /usr/local/Cellar/hadoop/3.1.2/libexec/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-3.1.2-so...原创 2019-05-11 21:38:31 · 1027 阅读 · 0 评论 -
Hadoop demo 找出共同好友
需求以下是qq的好友列表数据,冒号前是一个用,冒号后是该用户的所有好友(数据中的好友关系是单向的)A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:原创 2017-06-21 16:59:46 · 2013 阅读 · 0 评论