- 博客(6)
- 收藏
- 关注
RSS订阅转载 hive spark mysql
我的spark hive架构的问题，是没有把hive/conf/hive.site.xml 放到spark/conf目录下ln -s hive/conf/hive.site.xml /spark/conf/问题解决。之前有在hive.site.xml<property> <name>hive.metastore.uris</name&...
2017-05-18 16:42:00
87
转载 flume+sparkStreaming实例 实时监控文件demo
1，flume所在的节点不和spark同一个集群 v50和 10-15节点 flume在v50里面flume-agent.confspark是开的work节点，就是单点计算节点，不涉及到master发送管理 只是用到了sparkStreming的实时功能开启的是spark-shell不是spark-submit 提交jar的形式，提交jar的形式还需要后面研究下...
2016-09-28 10:56:00
152
转载 maven+spark2.0.0最大连通分量
运用到了spark2.0.0的grarhx包，要手动的在pom.xml里面添加依赖包，要什么就在里面添加依赖，然后在run-》maven install转载于:https://www.cnblogs.com/zhx-PRE/p/5787833.html...
2016-08-19 15:33:00
124
转载 Eclipse+maven+scala2.11.8+spark2.0.0的环境部署
主要在maven-for-scalaIDE纠结了，因为在eclipse版本是luna4.x 里面有自己带有的maven。根据网上面无脑的下一步下一步，出现了错误，在此讲解各个插件的用途，以此新人看见了，少走一些弯路。其实主要的问题是自己独立去下载scala插件，把scala依赖包拷贝到eclipse的plugins和features里面，然后maven也是自己下载手动修...
2016-08-19 11:29:00
280
转载 杀死mapreduce
在做mapreduce的时候，ctrl+c 其实就是在doc命令下杀死了mapreduce显示，后台还是有在运行mapreduce的程序 可以http://namenode.hadoop:8088/ 还在运行 UI没有显示杀job在dochadoop job -list //显示job的id hadoop job -kill job-099393938 //杀你想...
2016-08-05 16:10:00
128
转载 filter-自己的理解
在配置filter中的拦截功能时候 ，我们在web.xml中进行配置文件。filter过滤文件有系统自己带有的，还有就是我们手写的filter文件。网页调用servlter的时候，我们可以在此之前调用filter文件进行过滤然后在执行active里面的方法1.要想一个类文件成为一个过滤器文件，着该类实现java.selver.filter的接口。创建filter类要分为两个步骤...
2015-06-28 17:48:00
101
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人