hadoop
神罗天征-长门
这个作者很懒,什么都没留下…
展开
-
Centos7中Scala安装以及配置
1>安装scala需要java支持,需先安装jdk(这里就不介绍了)2>在/usr/local/src/中解压scala-2.11.4.tgz3>vim ~/.bashrc在其中添加SCALA_HOME=/usr/local/src/scala-2.11.4,export PATH=$PATH:$SCALA_HOME/bin,保存退出,然后source ~/.bash...原创 2018-09-16 15:23:14 · 1370 阅读 · 0 评论 -
Spark安装以及配置
1>安装spark前,先安装好scala,https://blog.csdn.net/dwt1415403329/article/details/827247572>在/usr/local/src/中解压spark-2.0.2-bin-hadoop2.6.tgz3>在spark根目录中,进入/conf目录下,创建slaves和 spark-env.sh文件,我这里配的是集...原创 2018-09-16 16:58:05 · 301 阅读 · 0 评论 -
解决Hive中文乱码
在Hive中建表时,添加字段commment中文注释以便查看,但是desc 表名时出现乱码"??",网上查阅资料总结了一下解决方案,步骤如下:1>在/etc/my.cnf中的[mysqld]后添加以下内容 init_connect='SET collation_connection = utf8_unicode_ci' init_connect='SET NAMES utf8'...原创 2018-10-15 18:13:56 · 6287 阅读 · 0 评论 -
java.lang.Exception: Unknown container. Container either has not started ...Yarn日志监控
在hadoop平台运行任务出错,想查看日志,但是点击logs显示一段提示信息。 查阅资料后得知,是未开启historyserver服务,其默认关闭,是一个独立的服务,网页查看端口号默认:19888,可在yarn-site.xml中配置,配置完后将配置文件复制到其他节点上,同时注意,我指定的是newmaster地址,所以需要在newmaster机器上启动(你也可以指定其他地址,启动时...原创 2019-02-24 21:36:16 · 6611 阅读 · 0 评论 -
找不到主类或加载不了xx类
我的idea版本是2017.3.4,在pom.xml中设置<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.7.3</versio...原创 2019-08-02 23:50:32 · 286 阅读 · 0 评论 -
hive中分区表的创建
1>开启分区set hive.exec.dynamic.partition=true;set hive.exec.dynamic.partition.mode=nonstrict;否则会出抛出异常:2>创建分区表创建静态分区表:create table test_part_table(word string,num bigint )partiti...原创 2019-08-11 17:10:07 · 26256 阅读 · 1 评论