大数据
文章平均质量分 75
太白酒仙
这个作者很懒,什么都没留下…
展开
-
SpringBoot整合Hadoop,完成云网盘部分实例
作者这里使用的是IntelliJ IDEA2017,创建SpringBoot项目的工作以及一些简单的整合由于网上也有很多资料,这里就不做赘述,只谈一些比较关键的配置。本项目采用的是SpringBoot 1.5.3.RELEASE这个版本。1.pom文件依赖版本示例: <!-- 版本配置 --> <junit.version>4.12</......原创 2018-10-11 10:28:55 · 4884 阅读 · 1 评论 -
ElasticSearch-6.2.3安装可视化界面插件elasticsearch-head-master
第一步:下载elasticsearch-head-master安装包wget https://github.com/mobz/elasticsearch-head/archive/master.zip第二步:因为elasticsearch-head-master依赖Node环境,所以还要安装Nodewget https://npm.taobao.org/mirrors/node/lat...原创 2018-10-10 10:36:10 · 3345 阅读 · 0 评论 -
ElasticSearch环境搭建遇到的问题及解决方法
以下问题都是作者亲身踩过的坑,希望对小伙伴有帮助^_^问题一:[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536][2]: max virtual memory areas vm.max_map_count [65530] is too low,......原创 2018-10-10 10:18:36 · 8620 阅读 · 1 评论 -
基于Linux的ElasticSearch轻松搭建
搭建环境:CentOS Linux release 7.5.1804 elasticsearch-6.2.3jdk1.8.0_141第一步:安装jdk,配置环境变量,注意1.8以上,否则出各种问题 第二步.解压缩es,配置es的环境参数config/elasticsearch.yml和jvm.options调优tar -zxvf elasticsearch-......原创 2018-10-10 10:04:16 · 955 阅读 · 0 评论 -
StreamSets数据流从Kafka到elasticsearch
所有的配置都采用图文的形式,希望小伙伴会喜欢^_^环境准备:kafka_2.11-1.0.1elasticsearch-6.2.3streamsets-datacollector-3.4.1zookeeper-3.4.10注意事项:1、若只读取一个topic的数据,origins使用Kafka Consumer;若要同时读取多个topic,则使用Kafka Multit......原创 2018-10-10 09:27:38 · 3703 阅读 · 3 评论 -
StreamSets从MySQL增量更新到Hive
所有的配置都采用图文的形式,希望小伙伴会喜欢^_^环境准备:5.5.56-MariaDBHDP-2.6.3.0-Hive-1.2.1000HDP-2.6.3.0-HDFS- 2.7.31.第一步,点击创建新的管道流create new pipeline:2.第二步,随便写一个标题和描述3.配置错误日志输入路径,这里配置到本地的/usr/local/data/st......原创 2018-10-10 09:19:03 · 4805 阅读 · 3 评论 -
StreamSet之数据流从JDBC到Hbase
所有的配置都采用图文的形式,希望小伙伴会喜欢^_^环境准备:5.5.56-MariaDBHDP-2.6.3.0-Hbase-1.1.2zookeeper-3.4.10点击创建管道流 随便写一个有意义的title和描述3.击创建好的管道流的title进入管理页面,然后选择All Stages,在下面输入jdbc4.首先配置JDBC注......原创 2018-10-09 18:16:56 · 2883 阅读 · 2 评论 -
hadoop分布式环境搭建
首先规划:三台机器,域名分别是master,slave1,slave2。master上面装NameNode、ResourceManager,slave1和slave2上面装一个NodeManager和DataNode,hadoop的安装包采用Apache的最新稳定版本hadoop-2.9.1。注:为了方便起见,这里不考虑用户权限的问题,所有安装采用root安装1.首先是前提条件,三台机器都必须:......原创 2018-10-09 17:39:51 · 496 阅读 · 0 评论 -
hdfs伪分布式搭建,伪分布式模式下yarn的配置及测验
1.安装前提条件(1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH(2)检查ssh和sshd是否安装,如果没有安装, ubuntu下面安装ssh和......原创 2018-10-09 15:07:14 · 599 阅读 · 0 评论 -
hdfs单机版安装,基于linux系统
1.【安装的前提条件】(1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH(2)检查ssh和sshd是否安装,如果没有安装 ubuntu下面安装ssh和...原创 2018-10-09 14:58:06 · 415 阅读 · 1 评论 -
hdp-2.6.3版本Zeppelin实战应用自定义插件配置
我们知道,在hdp中使用Zeppelin的时候,我们往往很难使用Zeppelin插件默认的一些配置,需要我们自定义才能满足需求。现在就我工作中的一些项目经验,列举一些例子,希望对小伙伴有所帮助^_^。注意:以下的操作都是基于Zeppelin的web页面1.使用spark语言写程序【本地模式】(1)先要自定义一个spark插件,点击右上角 admin 的按钮,选择Interpreter选......原创 2018-10-15 17:04:21 · 1130 阅读 · 0 评论 -
hdp-2.6.3版本离线安装python插件
(1)首先找到你的hdp安装的那个目录,然后进入zeppelin的安装目录zeppelin-server里面,修改conf目录下zeppelin-site.xml文件的属性zeppelin.interpreter.group.order,添加python(2)同样也是在conf目录下zeppelin-site.xml文件里面,然后修改zeppelin.interpreters属性,添加or......原创 2018-10-15 16:49:33 · 477 阅读 · 0 评论 -
大数据利器Zeppelin的快速搭建法宝及简单使用
Zeppelin是什么? 好有一比,我们在学校上课的时候,使用的是用纸做的笔记本计算和记录笔记,而Zeppelin就是基于web的笔记本,它支持数据驱动、交互式数据分析,并且Zeppelin能无缝的使用SQL、Scala等技术。为什么我们选择Zeppelin?首先是安装使用简单,然后是Zeppelin支持丰富的插件,比如ElasticSearch、Flink、Hbase、li......原创 2018-10-12 18:32:01 · 1480 阅读 · 0 评论 -
spring、springboot整合hadoop的时候出现的权限问题
相信大家在使用spring、springboot整合hadoop的时候,操作权限的时候可能会遇到下面这样一个权限异常。不过解决的方式有多种,我这里列出两种比较好的解决问题的方案。Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permissi......原创 2018-09-21 12:12:35 · 1686 阅读 · 0 评论