飞天的博客

一．elasticsearch安装1. 下载安装包： elasticsearch-6.2.4.rpm 上传到/home/hadoop 下2. 直接解压安装：[root@cib129 hadoop]# rpm -ivh elasticsearch-6.2.4.rpm 3. 修改配置：[root@cib129 hadoop]# vi /etc/elasticsearch/elasticsearch.y...

elasticsearch与数据库同步工具Logstash-input-jdbc1.  elasticsearch与数据库同步时需要用到一个插件Logstash-input-jdbc,他是数据logstash的，因此需要先下载logstash。这里logstash版本需要和elasticsearch版本一致。这儿我下载的是logstash-6.2.4.tar.gz 2. Logstash-inpu...

public class AttFromDateFilter {        /**     * 函数的目的/功能    共通的SQL查询方法     * @param sql     * @return     * @throws SQLException     */    public List<AttachmentBean> commonLst(String sql) thr...

#!/bin/bashLIB="/usr/local/data/lib/esLib"jars=""for f in $LIB/*  do   if [[ "$jars" != "" ]];then      jars=$jars,$f   else      jars=$f   fidonespark-submit --class $2 \--master yarn-cluster \--num-...

1.安装jdk1.8 cd /usr/java tar -zxvf jdk1.8.0_111.tar.gz  vi /etc/profile 在结尾添加export JAVA_HOME=/usr/java/jdk1.8.0_111export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$JAVA_HO...

import java.utilimport org.apache.spark.sql.types.{DataTypes, StructField}import org.apache.spark.sql.{Row, SQLContext}import org.apache.spark.{SparkConf, SparkContext}object TelephoneData13 {  def ma...

1.  先看下构建好的关系图谱如下:2. 构建节点,并且导入数据create table ch_from_to_count(id int primary key auto_increment,fromWho VARCHAR(100),toWho varchar(100),caseId VARCHAR(24),countNum int(11))charset utf8;表中插入数据：insert i...

CDH5.15.0安装前期准备工作部署:所有节点安装必要的工具包:yum -y install net-tools vim ntp libaio 1. 所有节点配置禁用SELinux         vi /etc/selinux/config         SELINUX=disabled2. 关闭集群所有节点防火墙         systemctl stop ...