Z_Data的博客

JDK 基本介绍JDK 的全称(Java Development Kit Java 开发工具包)JDK = JRE + java 的开发工具 [java, javac,javadoc,javap 等]JDK 是提供给 Java 开发人员使用的，其中包含了 java 的开发工具，也包括了 JRE。所以安装了 JDK，就不用在单独安装 JRE 了。JRE 基本介绍JRE(Java Runtime Environment Java 运行环境)JRE = JVM + Java 的核心类库[类]

Scala安装步骤详解：1.在网页上运行Scala 2.在Windows系统上安装scala 3.在Linux和macOS系统上安装Scala 4.在软件中安装scala插件 1.下载与安装IDEA 2.scala插件的安装与使用 3.安装完成后测试scala插件

目录基本配置PEP8标准写在前面：PyCharm这款IDE功能虽然强大，但正因为它的强大，所以对于刚入手的人来说，在初期使用时会显得困难。那么，今天这篇文章简单介绍一下PyCharm的基本操作，让那些刚使用的新手们能快速入手。基本配置我们安装好PyCharm后，首先要进行一些小配置，比如主题，字体，字体颜色等。打开PyCharm后，点开file→Setting然后就会跳出Setting的窗口可以说PyCharm的各种配置都需要在这里配置，现在我们进入Edit

1、解压sqoop的安装包到指定文件夹（网上下载或者留言获取）tar -zvxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz /data进入sqoop解压的文件夹，重命名（方便后续操作，也可跳过）mv sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz sqoop2、修改配置文件进入sqoop配置文件夹cd /da...

目录 1、 编程步骤2、 经典的wordcount程序编写编写代码1、 编程步骤 用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端) Mapper的输入数据是KV对的形式（KV的类型可自定义） Mapper的输出数据是KV对的形式（KV的类型可自定义） Mapper中的业务逻辑写在map()方法...

目录 1、 hadoop集群各主机时间要一致2、 yarn的聚合日志3、 awk（sed） 和 mr1、 hadoop集群各主机时间要一致时间同步：1、date -s ""2、基于ntp服务的时间同步 (c/s)3、将配置好的ntp用脚本做定时任务rpm -q ntp 查询是否安装ntp配置：选择作为ntpserver的服务器进行配置vi /etc/n...

1、Order   by    可以指定desc 降序 asc 升序Order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间。create table temperature( year int,temper float)row format delim...

 CentOS安装rpm安装MySQL时爆出警告：warning: MySQL-server-5.5.47-1.linux2.6.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY原因：这是由于yum安装了旧版本的GPG keys造成的解决办法：后面加上  --force --nodepsrpm -ivh ...

3.8 虚拟列虚拟列本身是一个不存在列，在数据查询的时候，可以通过虚拟列去查询数据的的路径，以及数据的偏移量，这两个内容都是hive中为用户提供的虚拟列进行的查询虚拟列存在两种：INPUT__FILE__NAME  代表数据的文件保存路径范例： 通过查询虚拟列得到文件保存路径select ename ,INPUT__FILE__NAME from emp;SMITH h...

目录 一、 基础配置创建7台机器，设置静态ip分别如下：2、 hadoop配置集群规划安装步骤1、安装配置zooekeeper集群（在ha5上）（更详细zookeeper安装步骤参见zookeeper安装）2、安装配置hadoop集群（在ha1上操作）2.1解压2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hado...

目录 1、 eclipse环境配置.2 、基本操作3、 监听集群中主机的上下线1、 eclipse环境配置 普通的java项目 创建一个java项目 依赖的jar包 zookeeper-3.4.7\lib下的 jline-0.9.94.jar log4j-1.2.15.jar netty-3.2.2.Final.jar slf...

目录 1、 集群安装2、 集群的启动3、 集群的测试使用1、 集群安装Zookeeper使用java编写，运行在jvm上，所以需要提前安装并配置好好java环境，推荐Oracle jdk1.7及以上版本。 官网：http://zookeeper.apache.org/ 下载地址：http://apache.opencas.org/zookeeper/ 从官方...

在一台机器上实现伪分布式hadoop环境的搭建。ADOOP集群规划主机名（hostname） 安装软件 运行进程 pdm hadoop-2.7.1 nameNode、resourceManager、datanode、nodemanager、secondary namenode HADOOP集群安装步骤下面步骤以root用户登陆系统，来...

目录1、 HADOOP集群规划2、 HADOOP集群安装步骤      3、分别配置三台机器的静态ip4、分别修改三台机器hosts5、分别为每台机器创建一个名为“hadoop”的用户6、分别为每台机器的“hadoop”用户配置sudo权限7、关闭每台机器的防火墙8、安装 jdk-7u55-linux-i586.tar.gz9、三台机器分别切换为hadoop用户...

目录 启动集群 1、格式化HDFS 因为HDFS也是文件系统，第一次使用一个文件系统都要格式化 2、启动hdfs集群（注意启动集群时，最好将集群中所有机器的时间设置一致 3、启动yarn集群 4、使用web查看集群的状态 5、hdfs简单操作演示 6、系统自带mapreduce案例演示 启动集群 1、格式化HDFS 因为HDFS也是文件系统，第一次使...

安装包准备将hive安装包 apache-hive-1.2.1-bin.tar.gz 上传到虚拟机/bigdata/下 JDK安装包 jdk-8u151-x64.gz 集群的准备（min1,min2,min3） hive的解压安装 将上传的hive解压缩至虚拟机/app目录下 tar -zxvf /app/apache-hive-1.2.1-bin.tar.g...

安装MySQL服务器端和MySQL客户端，并启动mysql服务。在min1上为Hive建立相应的MySQL账户，并赋予足够的权限create user 'hive' identified by '123456';GRANT ALL PRIVILEGES ON *.* TO hive@'%' IDENTIFIED BY '123456' with grant option;GRANT ...

目录1.在min3上安装mysql数据库，可以使用yum安装或者上传安装包使用rpm命令安装2、选节点min1作为hive的服务端，hive-env.sh配置与前两种安装方式一样。以下为hive-site.xml的配置 3、选择服务器min2作为hive客户端，并将配置好的服务端的hive目录拷贝到该节点上4、启动多用户的hive：安装规划：​ 集群min1，min2,...

Hadoop回收站trash，默认是关闭的。 建议最好还是把它提前开开，否则误操作的时候，就欲哭无泪了 修改conf/core-site.xml,增加复制代码 <property> <name>fs.trash.interval</name> <value>1440</value> <description&...

目录1、下载winutils的windows版本https://github.com/SweetInk/hadoop-common-2.7.1-bin2、解压 hadoop-2.7.1.tar.gz 到windows指定的目录。如（D:\java\hadoop-2.7.1）3、配置环境变量4、压缩包（hadoop-common-2.7.1-bin-master.zip）里的hado...

1.结合实际需求场景详细讲解zookeeper的概念2.完成zookeeper集群的搭建3.简单使用zookeeper shell操作zookeeper4.详细讲解zookeeper的java api的使用及典型的需求场景的案例代码