- 博客(5)
- 收藏
- 关注
RSS订阅原创 spark本地运行问题解决
1.直接运行本地模式，显示未知服务，那么很可能就是/etc/hosts文件中的主机名和IP地址没配或者配置错误2.如果本地模式出现ERROR SparkContext: Error initializing SparkContext.java.net.BindException: 无法指定被请求的地址: Service ‘sparkDriver’ failed after 16 retries (starting from 0)! Consider explicitly setting the appr
2020-09-16 00:21:25
897
原创 Spark下载
这里写自定义目录标题Spark下载欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Spark下载http://archive.apache.org/dist/spark/spark-2.1.
2020-09-15 21:43:10
291
转载 运行 stop-dfs.sh（或stop-all.sh）无效
长时间运行Hadoop之后，如果运行 stop-dfs.sh（或stop-all.sh），会发现有以下类似错误：https://blog.csdn.net/weixin_34418883/article/details/91600104
2020-08-15 22:20:37
1083
原创 关于volatile的理解
1.volatile是Java虚拟机提供的轻量级的同步机制① 保证内存可见性②不能保证原子性③禁止指令重排2.谈到volatile就得说说JMM（Java memory model）Java内存模型由于JVM运行程序的实体是线程,而每个线程创建时JVM都会为其创建一个工作内存(有些地方成为栈空间),工作内存是每个线程的私有数据区域,而Java内存模型中规定所有变量都存储在主内存,主内存是共享内存区域,所有线程都可访问,但线程对变量的操作(读取赋值等)必须在工作内存中进行,首先要将变量从主内存拷贝到
2020-07-20 22:58:08
124
原创 NameNode故障处理
NameNode故障，可以采用如下两种 方式恢复数据。方法一：将SecondaryNameNode中的数据拷贝到NameNode中去，会丢失客户端对NameNode元数据的最近部分操作，即一个edit-inprocess-XX文件1.删除NameNode存储的数据，NameNode所在节点的操作rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*2.拷贝SecondaryNameNode所在节点中数据到原NameNode存储数据的目录scp -r
2020-07-13 10:38:42
238
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人