大数据
文章平均质量分 80
vs412237401
这个作者很懒,什么都没留下…
展开
-
Redhat hadoop2.7.2 eclipse配置
下载hadoop2.7 eclipse插件,并放到eclipse plugins目录。重启eclipse,设置hadoop安装路径。配置Map/Reduce Locations 打开Windows—Open Perspective—Other点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:输入Location原创 2016-03-29 17:50:37 · 781 阅读 · 0 评论 -
Redhat spark安装笔记
在安装之前,请安装好jdk,hadoop。需要下载的软件如下:scala-2.11.8.tgzspark-1.6.1-bin-without-hadoop.tgz先解压scala,spark到home目录。编辑spark(安装目录)/conf/spark-env.sh在最后面新加如下内容:JAVA_HOME=/home/jdk1.7SPARK_HOME=/ho原创 2016-03-30 14:29:03 · 1489 阅读 · 0 评论 -
Redhat hadoop2.7.2安装笔记
本次安装是在windows7环境下安装redhat虚拟机进行的,所需要的软件如下:VirtualBox-5.0.16-105871-Win.exerhel-server-5.4-x86_64-dvd.iso首先安装虚拟机软件,然后在此基础上安装redhat,安装redhat的时候记得关闭防火墙还有其它的一些服务都disabled掉。首先在windows7上开一个共享目录,将如下软件放入原创 2016-03-29 13:20:13 · 2810 阅读 · 0 评论 -
在spark下用pyhton写worldCount
worldCount是经典的mapreduce程序环境:linux+spark1.6.2+pycharm相关文档如下:http://spark.apache.org/docs/1.6.2/api/python/pyspark.html准备工作:先安装java,maven等环境,下载最新的spark安装文件解压到/data/work/spark-1.6.2目录(我下载的安装文件为spar原创 2016-07-04 19:57:43 · 6629 阅读 · 1 评论 -
ElasticSearch5.0使用记录
因公司项目要求,需要将搜索数据从以前的solr切换到ElasticSearch,我们采用的是ElasticSearch5.0,在数据的切换中遇到一些问题,以下为相关记录.ElasticSearch2.x和5.x在java api接口上有很大的变化.1.如何取ElasticSearch客户端修改pom文件,加入如下依赖 org.elasti原创 2016-12-13 15:06:56 · 8196 阅读 · 0 评论