在IDEA关联Spark源码包,idea不能修改Spark源码,idea点进源码file is read only

在Spark开发学习中,我们需要有一套自己精心备注学习研究的Spark源代码,但是如果是通过maven自动导入Spark源码的话,我们是不可以对Spark源代码进行备注、注解等修改的操作的。   因此,我们可以到官网下载一套自己所需对应版本的Spark源码包,或者从git等库导入   下载...

2018-12-14 17:52:47

阅读数 84

评论数 0

Spark集群执行需求跑Job的结果保存到节点本地磁盘

此次job的提交,具体命令: 1.如果Spark集群没有连接mysql的驱动jar包的话:需要自行提供驱动jar包 spark-submit --master spark://hdp-21:7077 --jars /root/mysql-connector-java-8.0.11.jar -...

2018-10-29 16:12:52

阅读数 98

评论数 1

浅谈大数据

222

2018-10-27 00:03:03

阅读数 47

评论数 0

占位2

谢谢您

2018-10-27 00:02:24

阅读数 13

评论数 0

占位

谢谢您

2018-10-26 01:09:25

阅读数 14

评论数 0

The prefix "tx" for element "tx:advice" is not bound

在Spring中使用事务管理时,配置了事务驱动各项属性,如图: <!-- 定义事务通知 --> <tx:advice id="PersonAdvice" transaction-manage...

2018-09-21 00:58:41

阅读数 95

评论数 0

SqlSessionFactory和SqlSession的生命周期以及实现

SqlSessionFactory和SqlSession作为MyBatis技术部分的关键对象,他们的生命周期和实现到底是怎样的呢   SqlSessionFactory SqlSessionFactory一旦被创建,SqlSessionFactory应该在你的项目执行期间都存在。没有理...

2018-09-17 18:38:42

阅读数 160

评论数 0

Linux环境下清除CLASSPATH,CentOS系统清除CLASSPATH

开发者可能在CentOS系统中/etc/profile中配置过JDK,当时配置过了CLASSPATH这一环境变量, 那么清除不再需要它时,进入到了该文件去删除了这一环境变量,保存退出,重新Source了该文件然而该环境变量仍然存在。 那么笔者认为可能只是个bug,source对CLASSPAT...

2018-09-17 18:23:45

阅读数 104

评论数 0

winutils.exe下载,免费!hadoop2.8.0在windows下执行文件所需winutils.exe。适用hadoop2.8的所有版本

=========================免费分享!好用的话别忘了留言支持一下,谢谢!============================== baidu网盘:链接:https://pan.baidu.com/s/1NEZYNj_lQXEkIKUBbPEuiA 密码:m1mo...

2018-08-11 10:54:43

阅读数 944

评论数 1

java.io.FileNotFoundException: Could not locate Hadoop executable由eclipse报错

情景:在windows下使用eclipse开发hadoop,对hdfs执行操作时报错: Failed to find winutils.exe java.io.FileNotFoundException: Could not locate Hadoop executable: D:\Develo...

2018-08-08 22:14:48

阅读数 220

评论数 0

Error: JAVA_HOME is incorrectly.Please updata D:\Developer\hadoop-2.8.4\etc\hadoop\hadoop-env.sh

情景:配置hadoop的环境变量时配置完成之后执行hadoop报该错,并且确定jdk和jdk的环境变量没有问题。hadoop的环境变量也 没问题,很简单的配置了HADOOP_HOME和PATH中添加了hadoop的bin目录,大家都很轻车熟路的了,但是就是报错: cmd中执行hadoop报错:...

2018-08-08 22:07:37

阅读数 183

评论数 0

eclipse报错:HADOOP_HOME and hadoop.home.dir are unset.

在windows下做hadoop的开发,比如从hdfs上传、下载、创建、删除目录等操作时,eclipse报错:HADOOP_HOME and hadoop.home.dir are unset.   如图: 其实呢很浅显的道理,你只需要为windows下的hadoop配置环境变量告诉系统你的...

2018-08-08 21:47:25

阅读数 1184

评论数 0

CentOS6安装Hadoop后运行hdfs警告Unable to load native-hadoop library for your platform... using builtin-java

情景:安装hadoop后启动运行HDFS报错:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica...

2018-08-07 16:38:41

阅读数 2276

评论数 3

service network restart报错:No suitable device found : no device found for connection 'System eth0'.

虚拟机被玩崩了,hadoop重装过程中使用了多个虚拟机来模拟集群。只配置了主机的各项参数,其他的节点(主机)是克隆主机克隆粗来的。克隆完成打开以后,首先修改了其IP,然后网络服务重启(service network restart)就报错了:No suitable device found : n...

2018-08-07 09:01:45

阅读数 64

评论数 0

core-site.xml中配置的hadoop.tmp.dir的映射配置

最近虚拟机崩了好多次,索性重装hadoop生态圈中所有的系统包括hadoop 之前有找过这个目录才发现之前自己没设置,干脆这次重装给指定一下。 这项配置不建议在开发过程中去配置,因为配置了该选项需要重新格式化hdfs系统(#bin/hadoop namenode -format) 意味着你的...

2018-08-06 23:40:23

阅读数 292

评论数 0

JUnit4 jar包下载

JUnit4 jar包链接:https://pan.baidu.com/s/112B-PaQvlTAzEXxHcpC9Sw 密码:ktrn

2018-05-22 13:12:42

阅读数 3385

评论数 0

properties中的load()和store()的区别以及使用注意事项

  1.load load(InputStream instream) 从输入流中读取属性列表(键和元素对) load(Reader reader) 按简单的面向行的格式从输入字符流中读取属性列表(键和元素对) load方法是加载输入流,“只有”加载输入流之后,“才”可以用一些读取该p...

2018-05-21 00:59:22

阅读数 2777

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭