- 博客(17)
- 收藏
- 关注
RSS订阅原创 在IDEA关联Spark源码包，idea不能修改Spark源码，idea点进源码file is read only
在Spark开发学习中，我们需要有一套自己精心备注学习研究的Spark源代码，但是如果是通过maven自动导入Spark源码的话，我们是不可以对Spark源代码进行备注、注解等修改的操作的。 因此，我们可以到官网下载一套自己所需对应版本的Spark源码包，或者从git等库导入 下载Spark源码包，官网下载的话：选择SourceCode 下载完事以后解压（记住解压给文件...
2018-12-14 17:52:47
3581
1
原创 Spark集群执行需求跑Job的结果保存到节点本地磁盘
此次job的提交，具体命令：1.如果Spark集群没有连接mysql的驱动jar包的话：需要自行提供驱动jar包spark-submit --master spark://hdp-21:7077 --jars /root/mysql-connector-java-8.0.11.jar --class cn.edu360.day06.IPAdd6 wc.jar hdfs://hdp-21:...
2018-10-29 16:12:52
1230
1
原创 The prefix "tx" for element "tx:advice" is not bound
在Spring中使用事务管理时，配置了事务驱动各项属性，如图：<!-- 定义事务通知 --> <tx:advice id="PersonAdvice" transaction-manager="transactionManager"> <!-- 定义方法对应的事务属性 --> <tx:attributes> <tx:met
2018-09-21 00:58:41
726
原创 SqlSessionFactory和SqlSession的生命周期以及实现
SqlSessionFactory和SqlSession作为MyBatis技术部分的关键对象，他们的生命周期和实现到底是怎样的呢 SqlSessionFactory SqlSessionFactory一旦被创建，SqlSessionFactory应该在你的项目执行期间都存在。没有理由来处理或重新创建它，最简单的就是使用单例模式或者静态单例模式。最好使用框架，依赖注入容器，比如Goo...
2018-09-17 18:38:42
2568
原创 Linux环境下清除CLASSPATH，CentOS系统清除CLASSPATH
开发者可能在CentOS系统中/etc/profile中配置过JDK，当时配置过了CLASSPATH这一环境变量，那么清除不再需要它时，进入到了该文件去删除了这一环境变量，保存退出，重新Source了该文件然而该环境变量仍然存在。那么笔者认为可能只是个bug，source对CLASSPATH不管用。那么，只需要重启你的虚拟机就OK了如图：删除了CLASSPATH，保存退出，重新So...
2018-09-17 18:23:45
1354
原创 winutils.exe下载，免费！hadoop2.8.0在windows下执行文件所需winutils.exe。适用hadoop2.8的所有版本
=========================免费分享！好用的话别忘了留言支持一下，谢谢！==============================baidu网盘：链接：https://pan.baidu.com/s/1NEZYNj_lQXEkIKUBbPEuiA 密码：m1mo...
2018-08-11 10:54:43
4404
9
原创 java.io.FileNotFoundException: Could not locate Hadoop executable由eclipse报错
情景：在windows下使用eclipse开发hadoop，对hdfs执行操作时报错：Failed to find winutils.exejava.io.FileNotFoundException: Could not locate Hadoop executable: D:\Developer\hadoop-2.8.4\bin\winutils.exe -see https://wiki...
2018-08-08 22:14:48
2661
原创 Error: JAVA_HOME is incorrectly.Please updata D：\Developer\hadoop-2.8.4\etc\hadoop\hadoop-env.sh
情景：配置hadoop的环境变量时配置完成之后执行hadoop报该错，并且确定jdk和jdk的环境变量没有问题。hadoop的环境变量也没问题，很简单的配置了HADOOP_HOME和PATH中添加了hadoop的bin目录，大家都很轻车熟路的了，但是就是报错：cmd中执行hadoop报错：Error: JAVA_HOME is incorrectly.Please updata D：\De...
2018-08-08 22:07:37
1270
原创 eclipse报错：HADOOP_HOME and hadoop.home.dir are unset.
在windows下做hadoop的开发，比如从hdfs上传、下载、创建、删除目录等操作时，eclipse报错：HADOOP_HOME and hadoop.home.dir are unset. 如图：其实呢很浅显的道理，你只需要为windows下的hadoop配置环境变量告诉系统你的hadoop在那就行了。为HADOOP_HOME指定你的hadoop目录所在位置，为你的path添...
2018-08-08 21:47:25
5184
原创 CentOS6安装Hadoop后运行hdfs警告Unable to load native-hadoop library for your platform... using builtin-java
情景：安装hadoop后启动运行HDFS报错：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable其实hdfs正常运行，各节点namenode和datanode等都正常运行的。但是就是有警告...
2018-08-07 16:38:41
11099
5
原创 service network restart报错:No suitable device found : no device found for connection 'System eth0'.
虚拟机被玩崩了，hadoop重装过程中使用了多个虚拟机来模拟集群。只配置了主机的各项参数，其他的节点（主机）是克隆主机克隆粗来的。克隆完成打开以后，首先修改了其IP，然后网络服务重启（service network restart）就报错了：No suitable device found : no device found for connection 'System eth0'.如下图：...
2018-08-07 09:01:45
729
原创 core-site.xml中配置的hadoop.tmp.dir的映射配置
最近虚拟机崩了好多次，索性重装hadoop生态圈中所有的系统包括hadoop之前有找过这个目录才发现之前自己没设置，干脆这次重装给指定一下。这项配置不建议在开发过程中去配置，因为配置了该选项需要重新格式化hdfs系统（#bin/hadoop namenode -format）意味着你的hdfs上存的所有的历史数据都会消失殆尽 因此，最好在重装hadoop时给配一下：它配置在...
2018-08-06 23:40:23
2277
原创 JUnit4 jar包下载
JUnit4 jar包链接：https://pan.baidu.com/s/112B-PaQvlTAzEXxHcpC9Sw 密码：ktrn
2018-05-22 13:12:42
30438
11
原创 properties中的load()和store()的区别以及使用注意事项
1.loadload(InputStream instream) 从输入流中读取属性列表（键和元素对）load(Reader reader) 按简单的面向行的格式从输入字符流中读取属性列表（键和元素对）load方法是加载输入流，“只有”加载输入流之后，“才”可以用一些读取该properties文件的方法请注意这里的："只有","才"例如：public stati...
2018-05-21 00:59:22
7923
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人