- 博客(7)
- 收藏
- 关注
原创 生产环境下 Spark1.3.1 源码编译 thrift功能 及碰到的问题
在此不再赘述hadoop环境搭建默认是搭建好了(我这里用的版本是hadoop2.2+hive0.12,所以需要自己编译)1、下载spark源码git clone git://github.com/apache/spark.git -b branch-1.32、编译spark 1) 建议使用jdk1.7编译,不建议1.6 expor
2015-05-04 18:40:20
629
原创 读取hdfs文件内容导入mysql(续)
现在想单独的写个类实现读取hdfs文件内容导入mysql,也就是使用java api 来写main方法那种形式来实现。Configuration conf = new Configuration(true);conf.set("fs.default.name", "hdfs://cluster2");conf.set("fs.hdfs.impl", "org.apache.ha
2015-04-09 15:40:40
2871
原创 借鉴sqoop实现hdfs文件内容导入mysql
这次需要将hadoop mr的计算结果导入到mysql中,虽然是mr的结果导入db中,为了保险起见,还是存在hdfs上,之后读取hdfs上的结果导入db中,读取失败可重新执行单个读取导入过程。一般先动手前,有个思路,再百度看看是否有更好的实现,大略搜了一下,发现sqoop貌似实现了hdfs和各种dc之间的读取写入。这里,因为业务简单,都是insert语句不涉及事务,只是连接一个db,不
2015-04-07 17:34:18
1288
原创 个人推荐 linux下配置Nutch Solr 视频下载地址
开始学nutch,一般只涉及命令等,不涉及调试,用的是linux环境。有些磕磕碰碰,我也是初学者,建议大家可以看看杨尚川老师的Nutch框架相关视频,如何安装配置操作,讲的很清楚。地址如下:http://pan.baidu.com/share/link?uk=3157595467&shareid=1035458380#dir一般需求看1-10就能满足了,满基
2013-12-21 16:54:26
787
原创 win7下MyEclipse装Nutch1.7
一、下载安装包下载 apache-nutch-1.7-bin.zip 和 apache-nutch-1.7-src.zip 2个包二、基本环境搭建1、解压apache-nutch-1.7-src.zip包到eclipse的工作目录下面,如:D:\Workspaces\MyEclipse 8.5\test\apache-nutch-1.72、解压apache-nutc
2013-12-21 16:17:09
1269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人