hadoop
文章平均质量分 59
你好杰米
这个作者很懒,什么都没留下…
展开
-
外部无法访问虚拟机【centos】hadoop50070管理页面
系统使用的是centos6.5,关闭了防火墙,linux和windows里外都能ping通但是虚拟机的linux浏览器可以通过ip和localhost访问50070管理页面而外面的windows不能,虚拟机连接方式是使用的hostonly解决方案:我查询了资料,先查看防火墙是否关闭,然后有博主说iptables已经关闭了,但是在开启一下再关闭,就可以访问了然后我先service iptables ...原创 2018-03-24 22:41:36 · 3509 阅读 · 1 评论 -
spring data hadoop操作hdfs,生成avro文件并上传
1. 首先创建Configuration类Configuration config = new Configuration();2.然后创建DatasetRepositoryFactory类DatasetRepositoryFactory datasetRepositoryFactory = new DatasetRepositoryFactory();有三个方法setConf() 里面放Con...原创 2018-05-14 17:16:33 · 1200 阅读 · 0 评论 -
spring data hadoop操作hive,HiveTemplate的使用
HiveTemplate是一个spring data hadoop封装好的一个hive操作类,可以提供查询等方法,很方便,但是返回的数据能是一个字段首先需要一个数据源这里用dbcpBasicDataSource省略set。。。。。。然后创建一个类HiveClientFactoryHiveClientFactoryBean hiveClientFactoryBean = new HiveClient...原创 2018-05-14 19:45:02 · 5831 阅读 · 0 评论 -
使用jdbc操作hive(impala)运行时报borken pipe错误
项目中需要使用hive来做查询,为了提高速度用了impala(jdbc地址没有变,驱动也还是hive,只是变了段口号)项目是springboot + gradle + dbcp + spring data hadoop项目中使用了spring新的HiveTemplate项目运行一段时间后,查询会报出borken pipe,有时也会报连接重置,这个问题找了很久,困惑了很久BasicDataSourc...原创 2018-05-16 17:50:22 · 5810 阅读 · 0 评论 -
java使用sqoop1,gradle编译时缺少logredactor1.0.3包
最近使用sqoop1在java中,使用gtadle编译打包的时候,总是报无法加载org.cloudera.logredactor 1.0.3包,去maven 仓库查找有依赖地址,但是依赖地址的源仓库找不到这个文件,直接下载jar显示404,怪不得打包下载不进去,然后百度了一下发现这个有github上的项目,故自己下载下来用maven打包发布到本地仓库,然后让gradle走一下maven的本地仓库就...原创 2018-06-14 11:07:38 · 515 阅读 · 1 评论 -
sqoop的java操作,总结归纳,含代码
(下面说的操作hdfs其实和操作hive意思一样,都是文件夹)最近要在项目中加一个sqoop的功能,需求是将hive的数据导入至mysql,也就是export功能由于之前没用过sqoop,所以特地去学习怎么使用,这里总结下这两天了解到的简单内容首先sqoop有两个版本,1.4.X和1.99.X,前者俗称为sqoop1后者成为sqoop2,然后又有apache和cloudera两种sqoop1和sq...原创 2018-06-14 15:28:54 · 10987 阅读 · 12 评论