mn_kw的博客

我就是我,不一样的IT男

join理解

2019-05-21 11:38:01

阅读数 0

评论数 0

Ambari2.7.0离线部署

一、下载安装包 wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/ambari-2.7.0.0-centos7.tar.gz wget http://public-repo-1.horton...

2019-05-15 10:55:51

阅读数 6

评论数 0

Number of Under-Replicated Blocks问题

跑了一个mapreduce发现集群上出现了7个Under-Replicated Blocks,在web页面上能看到,在主节点上执行: $ bin/hadoop fsck -blocks 删除导致问题的文件之后就好了。 导致这个问题可能有俩个原因 1. 可能我们默认得block副本因子是3,...

2019-05-09 09:13:30

阅读数 11

评论数 0

将项目托管到gitHub

一、下载并安装Git版本控制工具 下载地址:https://git-scm.com/downloads 注册GitHub账号:https://github.com/ 为什么托管到GitHub要下载Git?   git是一个版本控制工具   github是一个用git做版本控制的项目托管平台...

2019-05-07 16:24:19

阅读数 6

评论数 0

web http方法

Post(新增),Put(修改),Delete(删除),Get(查询) GET:生到数据列表(默认),或者得到一条实体数据 POST:添加服务端添加一条记录,记录实体为Form对象 PUT:添加或修改服务端的一条记录,记录实体的Form对象,记录主键以GET方式进行传输 DELETE:删除...

2019-05-07 09:32:25

阅读数 8

评论数 0

在Linux下后台运行,程序运行前后台切换

一、为什么要使程序在后台执行 我们计算的程序都是周期很长的,通常要几个小时甚至一个星期。我们用的环境是用Xshell远程连接到Linux服务器。所以使程序在后台跑有以下两个好处: 1:我们这边是否关机不影响服务器的程序运行。(不会像以前那样,我们这网络一断开,或一关机,程序就断掉或找不到数据,...

2019-05-07 08:56:38

阅读数 20

评论数 0

kafka集群中jmx端口设置

jmx端口主要用来监控kafka集群的。 在启动kafka的脚本kafka-server-start.sh中找到堆设置,添加export JMX_PORT="9999" if [ "x$KAFKA_HEAP_OPTS" = "x"...

2019-05-06 16:39:34

阅读数 7

评论数 0

kafka-manager部署安装

一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它...

2019-05-06 15:27:26

阅读数 4

评论数 0

Hbase表两种数据备份方法-导入和导出示例

https://blog.csdn.net/helloxiaozhe/article/details/80325212

2019-04-30 09:45:15

阅读数 14

评论数 0

oracle 中Union和Union all区别

以前一直不知道Union和Union All到底有什么区别,今天来好好的研究一下,网上查到的结果是下面这个样子,可是还是不是很理解,下面将自己亲自验证: Union:对两个结果集进行并集操作,不包括重复行,同时进行默认规则的排序; Union All:对两个结果集进行并集操作,包括重复行,不进...

2019-04-26 13:46:37

阅读数 10

评论数 0

增大画布大小

使用快捷键ctrl + E 即可

2019-04-26 10:13:45

阅读数 41

评论数 0

在idea中查看kafka源码

一、 前期准备工作 step1:安装JDK1.8 step2:安装zookeeper单机版 step3: 安装Gradle-4.10.2 step4:安装scala-2.11.12 二、 将kafka源代码部署到编辑器IDEA并测试 step1:将kafka源码部署到IDEA ste...

2019-04-25 08:28:44

阅读数 43

评论数 0

oracle常用函数

GREATEST(express_1, express_2, ...express_n)函数从表达式(列、常量、计算值)express_1, express_2, ... express_n等中找出最大的数返回。在比较时,OracIe会自动按表达式的数据类型进行比较,以express_1的数据类型...

2019-04-24 14:58:43

阅读数 7

评论数 0

spark使用到别的jar包

第一种方式 操作:将第三方jar文件打包到最终形成的spark应用程序jar文件中 应用场景:第三方jar文件比较小,应用的地方比较少 第二种方式 操作:使用spark-submit提交命令的参数: --jars 要求: 1、使用spark-submit命令的机器上存在对应的jar文件...

2019-04-18 16:32:33

阅读数 17

评论数 0

打成jar包如何读取外部的properties文件

方式一: 这是最常见的读取配置文件方式 1 2 3 valpostgprop=newProperties() valipstream:InputStream=this.getClass().getResourceAsStream("...

2019-04-18 16:22:32

阅读数 21

评论数 0

spark自身保持偏移量

http://spark.apache.org/docs/2.2.0/streaming-kafka-0-10-integration.html#kafka-itself

2019-04-18 15:33:27

阅读数 14

评论数 0

sparkStreaming 报缺scala包的问题

我们需要将这俩个scala版本一致

2019-04-18 13:32:44

阅读数 15

评论数 0

sparkstreaming对接kafka出现的数据积压问题

kafka数据积压问题 1. 问题描述 生产环境开发了一套sparkstreaming对接kafka,并进行数据处理的程序。刚开始程序运行的很好,kafka集群被人动过之后,重启spark程序时出现如下报警信息: 18/06/20 15:29:21 WARN kafka010.KafkaUti...

2019-04-18 09:13:33

阅读数 87

评论数 0

maven 打包source 1.5 中不支持 diamond 运算符 [ERROR] (请使用 -source 7 或更高版本以启用 diamond 运算符)

<project xmlns="..."> ... <build> <plugins> <plugin> <...

2019-04-17 14:26:13

阅读数 14

评论数 0

maven打包有一个utf的错误

[WARNING] Using platform encoding (UTF-8 actually) to copy filtered resources, i.e. build is platfor Maven 打包时有标题中警告,需要在pom.xml文件中添加<properti...

2019-04-17 14:20:55

阅读数 9

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭