![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据问题
解决大数据遇到的问题.
andyonlines
趁着热情还在,奋斗吧!
展开
-
打包插件
<build> <plugins> <!-- 打包插件, 否则 scala 类不会编译并打包进去 --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> <vers原创 2020-08-06 13:31:20 · 663 阅读 · 0 评论 -
hive timestamp类型增加小时
hive -e "insert overwrite table test.mydate select from_unixtime( unix_timestamp(deptno )+6*60*60)from test.mydate;"原创 2020-08-01 15:18:28 · 5137 阅读 · 0 评论 -
pyhdfs模块的copy_to_local函数
copy_to_local 需要填完整的路径 + 文件名称比如:fs.copy_to_local("/andy/women/end.txt",“E:/haha/end.txt”)如果只填目录会出现权限的问题.原创 2020-03-22 20:29:01 · 791 阅读 · 0 评论 -
hadoop 3.2.1集群和2.7 版本部署的区别
namenode默认端口号从50070变为9870群起集群的配置文件从slaves变为workers.原创 2020-03-21 22:26:45 · 1675 阅读 · 0 评论 -
idea 执行import 出现"org.apache.hadoop.hive.ql.parse.ParseException:line 1:35 extraneous input ';' "
在idea 中连接hive执行下面的语句import table import4 from '/export';出现 org.apache.hadoop.hive.ql.parse.ParseException:line 1:35 extraneous input ';' expecting EOF near '<EOF>'的错误.解决办法去掉最后的;分号.import...原创 2020-03-10 10:40:32 · 2580 阅读 · 0 评论 -
格式化NameNode之后DataNode起不来
1 . 现象格式化NameNode之后,进程DataNode起不来了(起来一下,马上又关闭的现象).我们来看一下这是怎么回事呢.原因是你格式化之前没有删除data目录和logs目录.2. 分析没格式化之前:没格式化之前data和name的clusterID是一样的.格式之后:格式化之后,name 的clusterID 已经改变,而data的clusterID没有改变.所以...原创 2020-02-18 22:21:29 · 1100 阅读 · 0 评论