Steve_Monster-CSDN博客

原创 Ambari的安装

Ambari的安装环境说明主机 hadoop1 192.168.10.225 Centos 7.2 hadoop2 192.168.10.243 Centos 7.2 hadoop3 192.168.10.219 Centos 7.2软件包 Hadoop软件镜像压缩包 Am...

2019-11-19 16:08:35 312

原创 zipimport.ZipImportError: can't decompress data

在安装Python时，出现如下报错zipimport.ZipImportError: can’t decompress data解决方法1.安装文件 yum -y install zlib*2.更改Python源码中的中的Modules/Setup(位置于python源文件的根目录下) vim Modules/Setup3.将zlib的注释删去4.退出，并重新编译/安装...

2020-02-05 11:05:18 364

原创 java.lang.ClassNotFoundException: org.apache.flume.clients.log4jappender.Log4jAppender

java.lang.ClassNotFoundException: org.apache.flume.clients.log4jappender.Log4jAppender在使用Log4j日志信息放入到Flume时，根据官网 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 的提示，在Log4j中加入如下配置信息...

2020-02-01 17:19:41 649

原创 Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSink, class: org.apache.spark.

Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSink, class: org.apache.spark.streaming.flume.sink.SparkSink在使用pull得方式，启动Flume时，出现如下报错这是因为，我们使用了pull方法中，官方网站中指定得sink.type，但官网指定的...

2020-01-27 23:07:39 648

原创在用maven项目写spark程序的时候出现的错误

Exception in thread “main” java.lang.NoSuchMethodError: scala.Product.initinitinit(Lscala/Product;)V出现这一问题，从网上找到了很多的信息，主要是在讲说，在project Structure 的 Global Libraries的有添加Scala SDK 并且在Maven的pom.xml中也有写了s...

2020-01-13 10:07:45 385 1

原创 MapReduce实现单词计数原理及Java编程：WordCount

MapReduce实现单词计数：WordCount单词计数的文本信息（hello.txt）：hello can i help youi have a dreammaybe you can help me 实现过程： Map过程：并行读取文本，对读取的单词进行Map操作，每个词将会形成<key,value>。第一行将会形成：<hello,1>...

2020-01-07 16:40:32 1444

原创 WARN No appenders could be found for logger

问题描述：在Idea中开发Hadoop程序时，出现如下log4j的Warm。log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).log4j:WARN Please initialize the log4j system prope...

2020-01-05 20:15:31 290

转载 Windows下安装Hadoop测试环境

Windows下安装Hadoop测试环境hadoop2.7.7https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop for windows2.7.1https://github.com/steve-monster/winUtils第一步：把hadoop-2.7.7.tar.gz解压后...

2019-12-27 13:56:25 368 1

原创 \Windows下测试Hadoop时，使用hadoop -version时出现如下错误

Windows下测试Hadoop时，使用hadoop -version时出现如下错误Error: JAVA_HOME is incorrectly set.Please update D:\profession\bigdata\hadoop-2.7.7\hadoop-2.7.7\conf\hadoop-env.cmd‘-Xmx512m’但在测试Java时，Java一切正常。出现这个...

2019-12-27 11:43:45 1792

原创 Windows下安装Hadoop报错：No class configured for D, dfs.namenode.edits.journal-plugin.D is empty

在Windows下安装Hadoop-2.7.7，格式化NameNode的时候报错：No class configured for D, dfs.namenode.edits.journal-plugin.D is empty 根据提示可以看出，这是因为没有找到 “ D ”，这个类。但自己并没有写什么" D " 这个类。最后发现，在指定路径的时候，用到了"D"。路径在找的时候，将我的盘符直...

2019-12-27 10:50:20 1876 3

原创 MVN命令，将jar包上传至MAVEN repository命令

MVN命令，将jar包上传至MAVEN repository命令前言我们自己做些项目的时候，会自己打一些jar包，需要放到maven项目中，如果手动把jar包放到Maven仓库中，麻烦且很容易出错。我们可以使用命令的方式，直接将jar包放入到maven仓库mvn install:install-file -Dfile=D:\seismic-ps-1.0.5-SNAPSHOT.jar...

2019-12-10 16:16:42 428

原创 Linux/Windows输入的命令太长，不方便查看的解决方法

Linux/Windows输入的命令太长，不方便查看的解决方法不关是在Linux系统还是在Windows的DOS命令下，如果我们要输入的命令很长，很不方便去查看。解决这一问题的方法就是将一条命令分成几行来写。Linux中，使用符号 ’ \ ’ 如：bin/kafka-topics.sh --describe \--zookeeper master:2181,slave...

2019-12-10 16:06:28 1100

原创 Storm安装

Storm安装搭建介绍软件名版本apache-zookeeperapache-zookeeper-3.5.5.tarapache-stormapache-storm-2.1.0.tarIPHostName192.168.159.111master192.168.159.112slave1192.168.159.113sl...

2019-12-09 15:37:46 319

原创动态sql

动态sql测试所用的数据表结构if语句 <select id="select" parameterType="com.alibaba.fastjson.JSONObject" resultType="com.alibaba.fastjson.JSONObject"> select * from facere_bases where ...

2019-12-07 18:23:18 140

原创 SpringBoot整合Log4j

SpringBoot整合Log4j添加依赖因为在Spring boot当中有了Logback进行日志记录，所以需要先将Logback剔除<dependencies> <dependency> <groupId>org.springframework.boot</groupId> ...

2019-12-07 10:51:10 964

原创 hadoop Storm Spark 的区别

hadoop — Storm — Spark 的区别StormHadoopSpark计算模式流式处理批次处理流式批次处理计算等级内存计算磁盘计算内存计算核心Spouts/BoltHDFS/MPSDD适用场景实时性流数据离线处理实时/离线处理延时性低高中吞吐量低高中结束时间手动关闭任务结束任务结束...

2019-12-06 15:39:27 290

原创 Storm入门

Storm入门1. 简介 Apache Storm是一款免费且开源的分布式实时计算系统，Storm被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等，大数据实时处理解决方案（流计算）的应用日趋广泛，目前已是分布式技术领域最新爆发点，而Storm更是流计算技术中的佼佼者和主流。 ...

2019-12-06 14:19:45 202

原创 Spring项目下的路径问题（详解及原理）

Spring项目下的路径问题今天做SpringBoot整合log4j2，但在设置log4j2的配置文件时，作者建议强调要用绝对路径，但用绝对路径移植性真的很差，于是尝试使用相对路径，于是乎，便有了这篇总结。说明举例相对路径相对于当前位置的路径./intel/facereapi绝对路径路径的绝对位置（唯一表示方法）E:\workSpace\intelJ\...

2019-12-05 19:28:22 1617

原创通过mybatis中limit实现分页

通过mybatis中limit实现分页在mybatis中，通过sql语句中的limit，设置开始与结束。<select id="libs" resultType="cn.cstor.facereapi.model.Library" > select * from facere_bases limit #{start},#{end}</select>...

2019-12-04 15:10:53 646

原创 Mybatis中关于返回值的问题

Mybatis中关于返回值的问题结论：在Mybatis的xml中，可以使用resultType="…"，来指定其返回值的类型，但如果sql语句执行的结果为空，则会返回null。问题描述：在写Mybatis中的select语句，因为查找的条件，很有可能会找不到符合条件的信息。我原本以为，找不到信息会返回一个空的JSON。但在之后的使用中出现了报错<select id="L...

2019-12-04 09:59:34 1744

原创 MyBatis中，映射文件返回List<T>的ResultType参数填写

MyBatis中，映射文件返回List<T>的ResultType参数填写该命令时通过用户输入的Name，查找所有同名的信息，所以需要返回一个list<JSONObject>集合，在xml中，只需要将ResultType的返回值设置为JSONobject即可。但在Dao层，即mapper中，需要将返回类型填写为List< JOSNObject &gt...

2019-12-03 13:35:17 2176

原创云计算/边缘计算/雾计算

边缘计算什么是边缘计算在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。边缘计算的优势其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等反面的基本需求，对于物联网而言，具有重要意义。 -----------时效性...

2019-12-02 18:29:36 798

原创 MyBatis标签详解

MyBatis标签详解映射文件的顶级元素select : 映射查询语句insert : 映射插入语句update : 映射更新语句delete : 映射删除语句sql : 给sql代码块重新命名resultMap : cache : cache-ref:2. select 标签属性<select <!-- id="selectByLibId"...

2019-11-29 16:14:02 444

原创 Idea中安装mybatis反向工程

Idea中安装mybatis反向工程引入pom.xml<plugin> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-maven-plu...

2019-11-29 14:54:28 259

原创 Docker启动项目时出现conn(browser => ws)与conn(server => ws)错误

问题描述在Docker中安装Eclipse che项目时，执行docker run时，出现如下错误 browser在连接ws(存储器)时，连接失败 server在连接ws时失败。查看容器状态docker ps -a 全部都是刚运行就退出后通过查找相关资料，了解到，出现这一问题是因为防火墙，以及主机的IP，所以关闭防火墙，即可解决sys...

2019-11-29 14:02:33 223 1

原创获取当前的时间，并将时间改为2019/11/25 11:00:00的格式

获取当前的时间，并将时间改为2019/11/25 11:00:00的格式//创建dateDate date=new Date();//设置时间的格式SimpleDateFormat dateFormat=new SimpleDateFormat("yyyy/MM/dd HH:mm:ss");//将时间的格式，返回为一个String String createTime = dateFo...

2019-11-29 13:55:04 401

原创 Mysql常用命令

Mysql常用命令DDL 操作（数据库操作）创建数据库create database testdb;数据表减少列ALTER TABLE class DROP col_1;显示数据库show databases;选择数据库 use testdb;删除数据库drop database testdb;删除数据表drop table <表名>; 数据库信...

2019-11-29 13:51:20 190

原创 Postman的初次使用

Postman的初次使用：作为一个第一次尝试使用Postman的使用小白，真的出现了一些错误，让我一脸蒙蔽，在做接口测试时候，使用Postman得时候出现了一系列得错误，其根本是因为我使用不当，所以报错，浪费了很多时间，用于记录，帮助后来者。 1.使用：请求主要分两种：Post与Get方法 1.使用Post进行测试：点击发送，及可2.使用Get点击发送，及可...

2019-11-25 17:03:21 963

原创 PostMan测试接口，出现415报错，Unsupported Media Type

PostMan测试接口，出现415报错，Unsupported Media Type问题描述：当用PostMan测试接口时候，出现如下报错解决方法：打开返回信息中的Header条框，查看Content-Type下的Value 在发送信息中的Header条框，将Content-Type的Value的值，更改成与返回信息的Content-Type的Value相同即...

2019-11-25 16:42:08 19759 5

原创 RequestBody与RequestParament的区别

RequestBody与RequestParament的区别@RequestBody主要用来接收从Body中传入的数据，而@RequestParam是从URL中读取数据基于第一条的两者的区别，可以分析得知，@RequestBody只适用于Post的提交方式，而@RequestParam适合于Get的提交方式（不能理解可以参考链接）因为@RequestBody是从Body中读取数据...

2019-11-25 16:35:37 233

原创 Post与Get的区别

Get与Post请求的区别区别Get是不安全的，因为在传输过程，数据被放在请求的URL中；Post的所有操作对用户来说都是不可见的。Get传送的数据量较小，这主要是因为受URL长度限制。Post传送的数据量较大，一般被默认为不受限制。Get限制Form表单的数据集的值必须为ASCII字符；而Post支持整个ISO10646字符集。Get执行效率却比Post方法好。Get是...

2019-11-25 16:28:24 159

原创 Docker启动时报错：We could not resolve DockerHub using DNS.

Docker启动时报错：We could not resolve DockerHub using DNS.解决方法：依次检查Firewalld、NetWorkManager、selinux的状态，并关闭关闭Firewalldsystemctl status firewalldsystemctl stop firewalldsystemctl disable firewalld...

2019-11-21 15:09:56 243

原创 Linux下安装JDK

Linux下安装JDK环境说明1.Centos 7.52.jdk-8u131-linux-x64.tar开始安装在Linux中创建放置Java的文件mkdir /opt/java将jdk包通过xshell工具，放入到包下tar -zxvf jdk-8u131-linux-x64.tar将文件重命名mv jdk-8u131-linux-x64.tar java进入文件...

2019-11-20 10:34:09 107

原创 SSH免密配置

免密配置准备工作（三台主机）首先在/etc/hosts中添加ip映射vi /etc/hosts添加ip及节点名字在每个节点上，更改hostname，更改主机名vi /etc/hostname在配置文件中，更改每台主机的主机名配置免密登录（三台主机）ssh-keygen进入之后，一直点回车键，直到出现如下图通过下列命令，将免密发送到各个主机ssh-copy-id -i...

2019-11-20 10:09:06 117

原创 SSLError: Failed to connect. Please check openssl library versions.

SSLError: Failed to connect. Please check openssl library versions.错误描述：在查看agent的日志时，发现报错 SSLError: Failed to connect. Please check openssl library versions.解决方法： 1.查看openssl版本：openssl vers...

2019-11-20 09:54:40 2319 1

原创 Linux虚拟机网络配置（即能连接内网，也能连接外网）

Linux虚拟机网络配置（即能连接内网，也能连接外网）在网卡后加入DNS配置DNS1=8.8.8.8DNS2=144.144.144.1448.8.8.8是一个IP地址，是Google提供的免费DNS服务器的IP地址，Google提供的另外一个免费DNS服务器的IP地址是：8.8.4.4 。用户可以使用Google提供的DNS服务器上网。114.114.114.114是国内移动、电信和...

2019-11-19 17:39:06 982

原创 Maven 在Linux下的安装

Maven 在Linux下的安装下载地址http://maven.apache.org/download.cgi?Preferred=http%3A%2F%2Fmirrors.tuna.tsinghua.edu.cn%2Fapache%2F解压tar -zxf apache-maven-3.6.2-bin.tar.gz配置环境vi /etc/profile#Maven Env...

2019-11-19 16:23:04 120

原创 Spark入门

Spark入门 Spark是用scala语句实现，是一种快速运行在廉价集群中的计算引擎，他提供了高级的Java API，同时支持Scala , Python 和R等多种语言，同时他也拥有高级组件如用于处理结构化数据的Spark Sql,机器学习算法库MLlib,实时流数据处理Spark Streaming，以及图计算框架GraphxSpark特点 1.高速性 park在内存中对数据...

2019-11-19 16:16:05 148

原创 Kafka简介

Kafka简介官方文档http://kafka.apache.org/documentation/#introductionKafka是一种分布式发布-订阅消息系统。1.起因在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用（消息）和离线应用（数据文...

2019-11-19 16:10:37 101

原创 Ambari介绍

Ambari介绍官方文档https://ambari.apache.org/ Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目，并且是顶级项目。Ambari主要是通过软件的方式，使得Hadoop及相关组件（HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等...

2019-11-19 16:04:20 483 1

spring-cloud服务

空空如也