- 博客(15)
- 收藏
- 关注
原创 根据java的业务代码,自动生成黑盒和白盒测试用例,并且能进行性能检测,及时发现代码的漏洞
根据java的业务代码,自动生成黑盒和白盒测试用例,并且能进行性能检测,及时发现代码的漏洞
2022-06-23 20:04:23 679 1
原创 hdp-2.6.3版本Zeppelin实战应用自定义插件配置
我们知道,在hdp中使用Zeppelin的时候,我们往往很难使用Zeppelin插件默认的一些配置,需要我们自定义才能满足需求。现在就我工作中的一些项目经验,列举一些例子,希望对小伙伴有所帮助^_^。注意:以下的操作都是基于Zeppelin的web页面1.使用spark语言写程序【本地模式】(1)先要自定义一个spark插件,点击右上角 admin 的按钮,选择Interpreter选......
2018-10-15 17:04:21 1131
原创 hdp-2.6.3版本离线安装python插件
(1)首先找到你的hdp安装的那个目录,然后进入zeppelin的安装目录zeppelin-server里面,修改conf目录下zeppelin-site.xml文件的属性zeppelin.interpreter.group.order,添加python(2)同样也是在conf目录下zeppelin-site.xml文件里面,然后修改zeppelin.interpreters属性,添加or......
2018-10-15 16:49:33 478
原创 大数据利器Zeppelin的快速搭建法宝及简单使用
Zeppelin是什么? 好有一比,我们在学校上课的时候,使用的是用纸做的笔记本计算和记录笔记,而Zeppelin就是基于web的笔记本,它支持数据驱动、交互式数据分析,并且Zeppelin能无缝的使用SQL、Scala等技术。为什么我们选择Zeppelin?首先是安装使用简单,然后是Zeppelin支持丰富的插件,比如ElasticSearch、Flink、Hbase、li......
2018-10-12 18:32:01 1481
原创 SpringBoot整合Hadoop,完成云网盘部分实例
作者这里使用的是IntelliJ IDEA2017,创建SpringBoot项目的工作以及一些简单的整合由于网上也有很多资料,这里就不做赘述,只谈一些比较关键的配置。本项目采用的是SpringBoot 1.5.3.RELEASE这个版本。1.pom文件依赖版本示例: <!-- 版本配置 --> <junit.version>4.12</......
2018-10-11 10:28:55 4885 1
原创 ElasticSearch-6.2.3安装可视化界面插件elasticsearch-head-master
第一步:下载elasticsearch-head-master安装包wget https://github.com/mobz/elasticsearch-head/archive/master.zip第二步:因为elasticsearch-head-master依赖Node环境,所以还要安装Nodewget https://npm.taobao.org/mirrors/node/lat...
2018-10-10 10:36:10 3345
原创 ElasticSearch环境搭建遇到的问题及解决方法
以下问题都是作者亲身踩过的坑,希望对小伙伴有帮助^_^问题一:[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536][2]: max virtual memory areas vm.max_map_count [65530] is too low,......
2018-10-10 10:18:36 8621 1
原创 基于Linux的ElasticSearch轻松搭建
搭建环境:CentOS Linux release 7.5.1804 elasticsearch-6.2.3jdk1.8.0_141第一步:安装jdk,配置环境变量,注意1.8以上,否则出各种问题 第二步.解压缩es,配置es的环境参数config/elasticsearch.yml和jvm.options调优tar -zxvf elasticsearch-......
2018-10-10 10:04:16 955
原创 StreamSets数据流从Kafka到elasticsearch
所有的配置都采用图文的形式,希望小伙伴会喜欢^_^环境准备:kafka_2.11-1.0.1elasticsearch-6.2.3streamsets-datacollector-3.4.1zookeeper-3.4.10注意事项:1、若只读取一个topic的数据,origins使用Kafka Consumer;若要同时读取多个topic,则使用Kafka Multit......
2018-10-10 09:27:38 3703 3
原创 StreamSets从MySQL增量更新到Hive
所有的配置都采用图文的形式,希望小伙伴会喜欢^_^环境准备:5.5.56-MariaDBHDP-2.6.3.0-Hive-1.2.1000HDP-2.6.3.0-HDFS- 2.7.31.第一步,点击创建新的管道流create new pipeline:2.第二步,随便写一个标题和描述3.配置错误日志输入路径,这里配置到本地的/usr/local/data/st......
2018-10-10 09:19:03 4808 3
原创 StreamSet之数据流从JDBC到Hbase
所有的配置都采用图文的形式,希望小伙伴会喜欢^_^环境准备:5.5.56-MariaDBHDP-2.6.3.0-Hbase-1.1.2zookeeper-3.4.10点击创建管道流 随便写一个有意义的title和描述3.击创建好的管道流的title进入管理页面,然后选择All Stages,在下面输入jdbc4.首先配置JDBC注......
2018-10-09 18:16:56 2884 2
原创 hadoop分布式环境搭建
首先规划:三台机器,域名分别是master,slave1,slave2。master上面装NameNode、ResourceManager,slave1和slave2上面装一个NodeManager和DataNode,hadoop的安装包采用Apache的最新稳定版本hadoop-2.9.1。注:为了方便起见,这里不考虑用户权限的问题,所有安装采用root安装1.首先是前提条件,三台机器都必须:......
2018-10-09 17:39:51 496
原创 hdfs伪分布式搭建,伪分布式模式下yarn的配置及测验
1.安装前提条件(1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH(2)检查ssh和sshd是否安装,如果没有安装, ubuntu下面安装ssh和......
2018-10-09 15:07:14 599
原创 hdfs单机版安装,基于linux系统
1.【安装的前提条件】(1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH(2)检查ssh和sshd是否安装,如果没有安装 ubuntu下面安装ssh和...
2018-10-09 14:58:06 415 1
原创 spring、springboot整合hadoop的时候出现的权限问题
相信大家在使用spring、springboot整合hadoop的时候,操作权限的时候可能会遇到下面这样一个权限异常。不过解决的方式有多种,我这里列出两种比较好的解决问题的方案。Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permissi......
2018-09-21 12:12:35 1687
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人