- 博客(6)
- 收藏
- 关注
RSS订阅原创 java.lang.Error: Properties init: Could not determine current working directory
报错：Java.lang.Error: Properties init: Could not determine current working directory.[root@localhost current]# hadoop fs -ls /shell-init: 获取当前目录时出错: getcwd: 无法访问父目录: 没有那个文件或目录chdir: 获取当前目录时出错: getc...
2018-12-24 10:37:13
5463
1
转载 Hadoop启动的时候，发现Datanode启动不了，解决办法
转载地址：https://blog.csdn.net/cc1949/article/details/78467673 https://www.cnblogs.com/kxdblog/p/4034255.html解决方法：（1）现象：# jps看不到DataNode（2）可能原因：datanode的clusterID 和 namenod...
2018-12-19 16:26:53
2012
转载 Spark 序列化问题全解
转载地址：https://blog.csdn.net/JIESA/article/details/79996053 https://blog.csdn.net/weixin_42653621/article/details/82534820在Spark应用开发中，很容易出现如下报错：org.apache.spark.SparkException: T...
2018-12-19 16:19:25
3874
转载 Spark 使用sortByKey进行二次排序
转载地址：https://blog.csdn.net/dwb1015/article/details/52207945Spark的sortByKey API允许自定义排序规则，这样就可以进行自定义的二次排序、三次排序等等。 先来看一下sortByKey的源码实现：def sortByKey(): JavaPairRDD[K, V] = sortByKey(true)def sort...
2018-12-06 09:28:32
643
转载 kafka生产者与消费者相关命令行
原文：https://blog.csdn.net/wf3612581/article/details/818425741、开启zookeeper集群startzk.sh2、开启kafka集群start-kafka.sh3、开启kafka可视化界面 kafka-managerstart-kafka-manager.sh 4、生产者操作：kafka-conso...
2018-12-01 09:34:49
22633
转载 Hadoop namenode重新格式化需注意问题
原文：https://blog.csdn.net/gis_101/article/details/528219461、重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题；2、先删除主节点（即namenode节点），Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容 （注意是删除目录下的内容...
2018-12-01 09:30:37
4411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人