new_buff_007的博客

在安装好的Hadoop集群和spark集群中安装好hive。但是在利用yarn启动spark-shell时候，报了以下错误：The specified datastore driver ("com.mysql.jdbc.Driver") was not found 。。。。。这个时候与找不到了MySQL的驱动，所以需要在spark-defaults.conf中进行指定配置。spark.executor.extraClassPath /home/hadoop/jars/mysql-con

#!/bin/bashhive -e " drop table if exists dim.media_video"sqoop create-hive-table --connect jdbc:mysql://hadoop103:3306/autopai-content --username root --password 000000 --table wt_media_video --hive-table dim.wt_media_video --fields-terminated-by ,.

欢迎关注 ITwords公众号，大家可以一起学习，共同进步。Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt今天在hive中查询库的时候突然出现这个问题，但是hive启动正常，后来担心是不是hive的metastore没有开启，专门去开了一下，结果找到了问题所在。bin/hive --service metastore.

今天在启动hadoop集群的时候发现问题。Problem binding to [hadoop103:8031] java.net.BindException: 无法指定被请求的地址; For more details see: http://wiki.apache.org/hadoop/BindException原因，因为Resourcemanager和namenode不是在同一台机器上，所以不能使用start-all.sh来启动。需要在两台机器上分别使用start-dfs.sh和 ...

在安装hive和整合spark的时候出现了一个这样一个不痛不痒的问题。ls: 无法访问/opt/module/lib/spark-assembly-*.jar`没有那个文件或目录原因是因为spark在座升级以后，将大的jar转化为了一个一个小的jar，所以在使用lib/spark-assembly-*.jar`去查找的时候找不到的原因。修改hive文件。在hive的安装目录下面，找到bin目录，在bin下面找到hive，编辑hive，修改即可。具体流程如下：vim /op...