IDEA
冽夫
这个作者很懒,什么都没留下…
展开
-
IDEA打包
jar包在out文件夹里上传jar包到spark集群,submit提交。原创 2022-01-04 19:47:51 · 1004 阅读 · 0 评论 -
在win中用MapReduce处理HBase出错:XXX.jar is not a valid DFS filename
原因:Hadoop文件系统检查路径时没有区分是本地windows系统还是Hadoop集群文件系统解决:只需将Map和Reduce的init方法最后一个参数(boolean addDependencyJars)设为false(默认为true)参考:https://www.iteye.com/blog/zy19982004-2029740还有一个神仙解答:https://blog.csdn...转载 2019-12-12 22:34:55 · 354 阅读 · 0 评论 -
Permission denied: user=, access=WRITE, inode="/user":root:supergroup:drwxr-xr-x
win10-IDEA连接hbase进行操作产生如题错误解决办法:保险起见,再到hadoop 的hdfs-site文件中添加以下内容,关闭权限检查 ,即解决了上述问题。<property> <name>dfs.permissions</name> <value>false</value>...原创 2019-12-12 22:31:19 · 594 阅读 · 0 评论 -
更改IntelliJ IDEA的Java编译器版本
用IDEA开发java时,出现了类似下面的错误:IntelliJ把我的项目默认使用1.5版本的编译器。然后就手动把IntelliJ的Java编译器的版本改为了1.8。一共有三个地方要改。1、文件->设置(ctrl+alt+s)2、文件->项目结构(ctrl+alt+shift+s)2.12.2...原创 2019-12-03 14:50:16 · 939 阅读 · 0 评论 -
IDEA报错Cannot reconnect_Inspection info: Inspects a Maven model for resolution problems.
右键pom.xml选择maven选择reimport原创 2019-11-12 09:24:47 · 1146 阅读 · 0 评论 -
IDEA开发scala
1、在IDEA中下载scala(Ctrl+Alt+s → plugins)2、File → New → Project → 左侧选scala,右侧选IDEA完成。原创 2019-09-17 22:39:35 · 175 阅读 · 0 评论 -
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$conforms()Lscala/Predef$$less
网上有两种说法:依赖冲突(conflicts of dependencies)以及多版本的Scala(likely have multiple major versions of scala that comes as transitive dependencies)我暂时没有涉及到过多的依赖,所以考虑多版本的scala因为我导入了spark的jar包,而spark2.4里通过运行spar...原创 2019-09-17 22:35:21 · 1014 阅读 · 0 评论 -
IDEA运行spark报错:A master URL must be set in your configuration
-Dspark.master=local原创 2019-09-17 22:28:13 · 424 阅读 · 0 评论 -
IDEA连接hadoop集群
把linux上的hadoop拷贝到win上为其配置环境变量HADOOP_HOME=D:\yangjm\Code\study\hadoop\hadoop-2.6.0HADOOP_BIN_PATH=%HADOOP_HOME%\binHADOOP_PREFIX=D:\yangjm\Code\study\hadoop\hadoop-2.6.0另外,PATH变量在最后追加;%HADOOP...转载 2019-05-11 21:58:38 · 949 阅读 · 0 评论 -
在IDEA中开发scala
1、准备环境文件→设置→Plugins→搜索SCALA→点击search in repositories→选择language的scala→install需要重启IDEA来激活SCALA插件2、开发一、二、选择maven,点击下一个点击完成三、用maven开发需要手动添加scala框架选择添加框架的支持勾上scala,点击确定...原创 2019-05-07 23:52:05 · 1704 阅读 · 1 评论 -
IDEA Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.r
太鬼扯了...IDEA Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.r...网上说是scala SDK版本问题于是ctrl+shift+alt+s把依赖中的scala SDK那里改成2.10.x的版本(brows)别在IDEA中下载,太慢辽!!!!!scala官网了解一下,版本选...原创 2019-05-09 15:57:09 · 566 阅读 · 0 评论 -
No TypeTag available for String sqlContext.udf.register()
今天在用IDEA写spark sql时遇到这个从未见过的奇葩问题贴上代码package udf_sqlimport org.apache.spark.sql.{DataFrame, SparkSession}object sql_udf { def main(args: Array[String]): Unit = { val spark = SparkSession....原创 2019-05-09 15:50:02 · 472 阅读 · 0 评论 -
IDEA写spark程序时import org.apache.spark.sql.{Row,SparkSession}错误
因为是IDEA第一次运行spark程序,所以需要导入相应的jar包jar包来源参考我的另一篇博文其实两篇博文描述的遇到的问题挺相似的下载好后点击文件→项目结构→模块→依赖(lib)也可以直接shift+Ctrl+Alt打开此界面点击右边的➕,选择 Jars或目录,选择下载好的Jar包,单击确定。大功告成~...原创 2019-05-09 12:32:42 · 7756 阅读 · 1 评论