mn_kw的博客

原创 sql case when 去重

count(distinct case trainnumber when 'null' then 0 when '0' then 0 else trainnumber end) as train_num

原创 Hadoop web页面的授权设定

在core-siet.xml配置文件中增加如下三行<property> <name>hadoop.http.filter.initializers</name> <value>org.apache.hadoop.security.AuthenticationFilterIniti...

原创 sqoop 导入 hive

sqoop 导入 Hive 分三步：1. 先导入--target-dir 指定的 HDFS 的目录中2. 在 Hive 中建表3. 调用 Hive 的 LOAD DATA INPATH 把 --target-dir中的数据移动到 Hive 中import--hive-import--hive-table dw_hd.ods_store--connect jdbc:oracle:th...

原创 azkaban安装

首先将我们的安装包下载下来，总共是4个，一个是web，一个是executor,一个是solo，一个是sql然后解压到我们的linux机器上安装第一步：首先配置mysql1. 为Azkaban创建一个数据库：mysql> CREATE DATABASE azkaban;2. 为Azkaban创建一个数据库用户:mysql> CREATE USER '<...

原创 join理解

原创 Ambari2.7.0离线部署

一、下载安装包wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.0.0/ambari-2.7.0.0-centos7.tar.gzwget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTIL...

原创 Number of Under-Replicated Blocks问题

跑了一个mapreduce发现集群上出现了7个Under-Replicated Blocks，在web页面上能看到，在主节点上执行：$ bin/hadoop fsck -blocks删除导致问题的文件之后就好了。导致这个问题可能有俩个原因1. 可能我们默认得block副本因子是3，但是我们的datanode节点只有俩2个或者是1个这个时候就会出现这个有报错2. 我们mapper...

原创 将项目托管到gitHub

一、下载并安装Git版本控制工具下载地址：https://git-scm.com/downloads注册GitHub账号：https://github.com/为什么托管到GitHub要下载Git？　　git是一个版本控制工具　　github是一个用git做版本控制的项目托管平台。二、在IEDA中设置Git的位置以及跟你的GitHub账号连接起来...

原创 web http方法

Post（新增）,Put（修改）,Delete（删除）,Get（查询）GET：生到数据列表（默认），或者得到一条实体数据POST：添加服务端添加一条记录，记录实体为Form对象PUT：添加或修改服务端的一条记录，记录实体的Form对象，记录主键以GET方式进行传输DELETE：删除 服务端的一条记录...

原创 在Linux下后台运行，程序运行前后台切换

一、为什么要使程序在后台执行我们计算的程序都是周期很长的，通常要几个小时甚至一个星期。我们用的环境是用Xshell远程连接到Linux服务器。所以使程序在后台跑有以下两个好处：1：我们这边是否关机不影响服务器的程序运行。（不会像以前那样，我们这网络一断开，或一关机，程序就断掉或找不到数据，跑了几天的程序只能重头再来，很是烦恼）2：让程序在后台跑后，不会占据终端，我们可以用终端做别的事情...

原创 kafka集群中jmx端口设置

jmx端口主要用来监控kafka集群的。在启动kafka的脚本kafka-server-start.sh中找到堆设置，添加export JMX_PORT="9999"if [ "x$KAFKA_HEAP_OPTS" = "x" ];then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"export JMX_PORT="9999"fi...

转载 kafka-manager部署安装

一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可...