启动hadoop成功后,再次启动datanode 和namenode都没有 但有nodeManager

安装hadoop 启动后发现成功 但之后因为某些原因重新启动 发现重新启动不起来了 datanode和namenode都没有了 怎么找也找不到 但可以看到nodeManager还在 这是个什么幺蛾子 我重新删除log tmp文件夹 然后format 啊哈 没有一点用 最后发现后台进程中JV...

2019-07-24 10:58:11

阅读数 6

评论数 0

如何远程连接一个主机并且执行一段命令呢

"ssh -o StrictHostKeyChecking=no -o ConnectTimeout=5 %s '%s'" % (host, mkdir -p your_path) 如此可以远程ssh连接一个主机 执行命令 https://www.cnblogs.com/P...

2019-07-16 10:40:21

阅读数 22

评论数 0

linux 用Backspace键突然出现^H的问题

今天运行了某个程序后突然发生这种情况 对使用Linux命令很不方便 上网找到了解决办法 供大家参考https://blog.csdn.net/weixin_42760394/article/details/82051477 linux执行下列命令即可:stty erase '^H' ...

2019-06-14 17:44:48

阅读数 64

评论数 0

spark 提交集群的各种方式

https://blog.csdn.net/hellozhxy/article/details/80483376 其中 deploy-mode 可以是cluster 和client形式 两者有什么区别呢:请看https://blog.csdn.net/Trigl/article/detail...

2019-05-30 15:23:09

阅读数 13

评论数 0

下载apache的spark的时候总是网速很慢 下载好久的问题

下载个spark-2.2.2版本下载了一天 网速7k/s 什么鬼 然后用专业软件检测 发现并没有网速很慢呀 1M/s是没有问题的 这是啥子个原因 哎 我也不知道到 总之能不去apache下载东西就不去 还是另寻他路 找个开源镜像什么的下载吧 ps:我配置了代理依然提高不了网速 估计在国外会快...

2019-05-17 14:17:41

阅读数 86

评论数 0

idea打包jar到spark集群运行

总是想打包一个程序 到集群 网上很多方法都是要用maven管理 用pom 和maven工具来进行 而此时我只想直接打包一个程序成为一个jar文件 怎么搞呢 看下面连接 https://www.cnblogs.com/xugh/p/9680256.html ...

2019-04-24 16:27:23

阅读数 56

评论数 0

ramp plan 是什么意思呢?

ramp up加强 ramp 英 [ræmp] 美 [ræmp] n. 斜坡;坡道;(装车或上下飞机的)活动梯,活动坡道 v. 敲诈;使有斜面 看到“敲诈”吓我一跳 难道是敲诈计划? 问过之后发现是ramp plan就类似于一个成长计划 这完全相反的理解嘛 ...

2019-04-16 11:11:52

阅读数 97

评论数 0

spark 配置historyserver进程 报错:failed to launch org.apache.spark.deploy.history.HistoryServer

查看日志 发现是Exception in thread "main" java.lang.reflect.InvocationTargetException 然后后面还有fail on connection 这个大概是接口防火墙错误了 我检查之后 端口没有被占用 ,防火墙...

2019-04-15 16:22:25

阅读数 91

评论数 0

find根目录(查找某个字段)

linux中在所有文件中查找某个字段 最近在配置文件的过程中,发现有个配置不知道在哪个文件里配置着,试了很多配置文件都没找到 很是奇怪 干脆就在根目录下查找查找这个让人心烦的东西在哪个文件里面 如果强行find的话 会运行太慢,甚至Linux卡死 所以使用下面的命令 提高查询速度 fin...

2019-04-09 09:05:03

阅读数 80

评论数 0

flume使用注意事项

flume可以有多个source 多个channel 多个sink 为什么要把flume分为source chanel sink多个组件呢?有多个组件是为了更加灵活,可以得到不同的来源,传入不同的地方 也可以只有一个source channel 而没有sink 也可以是其他情况 ...

2019-03-21 11:24:39

阅读数 119

评论数 0

Java面试必看

最近找大数据开发,下面记录几个自己看的比较好的面经,供参考 这个博主写的非常不错,总结的也很到位 java题汇总:https://www.cnblogs.com/java1024/p/7685400.html 23种设计模式讲解:http://c.biancheng.net/design_...

2019-03-05 17:25:11

阅读数 28

评论数 0

ThreadLocal

参考下面写的不错:https://blog.csdn.net/zhangzeyuaaa/article/details/43564471 https://www.iteye.com/topic/103804

2019-03-04 21:55:46

阅读数 46

评论数 0

短期工作总结

为期两个星期,主要完成了数据的查询,调用接口传入数据进行功能的调用 出现的错误: 网站后台报错:400   后来经过核实,是我这边调用接口传入的参数不符合接口方的规定  所以造成了这种错误 错误解释:https://www.cnblogs.com/wanglaowu/p/6229843....

2019-01-29 10:16:50

阅读数 94

评论数 0

地址栏输入localhost:8080后跳转到windows查找的问题

今天出了一个错误   还要把我气吐血了          我在地址栏输入localhost:8080后就跳转到了windows的一个“需要新应用打开此localhost”界面      上网各种查找,都没找到这个奇葩问题的答案    然后解决:                    ...

2019-01-24 15:57:09

阅读数 299

评论数 1

SSH需要的关键技术

1  代理  (用来进行类的增强  和service实现类一样都继承相同的接口)        静态代理---------创建一个代理类,运行之前就已经确定了代理某个service实现类        动态代理---------不需要创建代理类,通过工厂产生代理对象,在运行时才生成代理   ...

2019-01-21 09:50:49

阅读数 106

评论数 1

svn出现不能访问url的情况解决

右击svn  checkout一下url链接    但是报错   提示url不对 明明我的url存在也正确呀   怎么搞的    这时候一定去看看自己的hosts配置里面  是不是出问题了   当时配置的svn路径是不是被系统或者360给干掉了      ...

2019-01-18 18:03:11

阅读数 2258

评论数 0

拥有管理员权限但hosts文件无法修改的问题

  今天修改hosts文件  简直使用了网上所有的方法都不成功      心累呐    气的想砸电脑

2019-01-18 17:58:20

阅读数 2122

评论数 0

svn提交或者更新的时候出现错误 svn: Working copy 'D:\...'locked.

今天从svn更新项目中的文件内容   但出现了如下问题   解决方案:https://blog.csdn.net/mynameisyaxuan/article/details/79528445可参考该博主连接 1.右键文档-->TortoiseSVN--&...

2019-01-15 18:02:38

阅读数 1313

评论数 0

javaee开发 之Servlet

servlet接口   开发网页版本需要实现自己的servlet  即继承servlet接口 如果要访问servlet需要配置内容到WEB-INF下的web.xml    <servlet>       <serlvet-na...

2019-01-13 23:40:41

阅读数 28

评论数 0

python线程

 threading.Thread父类来实现自定义的类 全局变量在线程中是共享的 最近面试出现一个问题  是num=num+1是线程安全的吗   如果是,为什么,如果不是,如何实现线程安全呢? 答案是不安全的  那么让其线程安全 ,就要回答如何能让一个线程安全的问题,可以在网上查一下如果...

2018-12-11 21:25:48

阅读数 39

评论数 0

提示
确定要删除当前文章?
取消 删除