开水煮白菜-CSDN博客

原创 hadoop秘籍-hbase环境搭建（伪分布式）

1.HBASE的运行需要JDKjdk安装2.HBase的底层存储依赖于HDFS,需要安装hadoop环境Hadoop与集群环境搭建3.HBase依赖于ZooKeeper来做分布式协调工作,所以需要安装Zookeeper的环境,本文使用自己搭建的环境不使用hbase内置zookeeper搭建环境与时间同步改名: mv hbase-1.2.0-cdh5.14.2/ hbase配置环境变量: vi /etc/profile ,加入如下内容:export HBASE_HOME=/opt/hbase

2020-07-23 18:31:08 380

原创 Hbase Shell 常见命令的使用

一、建表：create在创建表时，行建不用也不能预先定义，而对表数据进行操作时必须指定行建，即行建在添加数据时首次被确定，并且“时间戳”列也由HBase自动生成，所以只需指定列族即可create 命令的语法格式：create ‘表名称’,‘列名称1’,‘列名称2’,…其中表名和列名必须用单引号括起来并用逗号隔开。【示例】创建一个表，表名为score，列族为grade和course。create 'score','grade','course'在创建表时，除了列族名称，列族的参数均为可选项，

2020-07-23 17:04:53 691

原创 Hive 环境搭建(伪分布式)

一、虚拟机环境准备准备一台虚拟机，操作系统 centos7.0安装 jdk1.8安装 mysql安装 hadoop二、Hive简介1、hive是建立在hadoop之上的数据仓库，一般用于对大型数据集的读写和管理，存在hive里的数据实际上就是存在HDFS上，都是以文件的形式存在，不能进行读写操作，所以我们需要元数据或者说叫schem来对hdfs上的数据进行管理。2、Hive的优势和特点提供了一个简单的优化模型 HQL类SQL语法，简化MR开发支持在不同的计算框架上运行支持在HDFS和

2020-07-07 21:37:23 935

原创 ZooKeeper Client 基本命令行操作

一、连接 ZooKeeper 服务【命令】zkCli.sh -server host:port【示例】连接 ZooKeeper 服务zkzkCli.sh -server localhost:2181二、使用 ZooKeeper 客户端命令完成服务器列表的管理1、查看目录下节点【命令】ls path (path为节点路径)【示例】查看ZooKeeper根节点下的所有节点。输入指令：ls / ，结果如下2、创建节点并设置值【命令】create [-s] [-e] path dat

2020-07-07 10:14:47 3019

原创 MapReduce实例 - partitioner 分区实现按号段统计手机号码

一、partitioner类Partitioner 的功能是在 Map 端对 key 进行分区。Map端最终处理的<key,value>对需要发送到 Reduce 端去合并，合并的时候，相同分区的<key,value>对会被分配到同一个 Reduce 上，这个分配过程就是由 Partitioner（分区）决定的。MapReduce 默认的Partitioner 是HashPartitioner。其计算方法如下：Partitioner 先计算 key 的散列值（通常是 MD5

2020-07-02 19:05:04 588

原创 MapReduce实例 - 实现词频统计

一、MapReduce基础## MapReduce概述?1、MapReduce是一个分布式计算框架它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务。起源于Google2、适用于大规模数据处理场景每个节点处理存储在该节点的数据3、每个job包含Map和Reduce两部分4、MapReduce 的设计目标是方便编程人员在不熟悉分布式并行开发的情况下，将编写的程序运行在分布式系统上，从而降低了分布式开发的入门门槛。MapReduce特点优点易于编程可扩展性高容错性

2020-07-02 16:12:50 5692

原创 Hadoop-HDFS shell操作完成移动通信数据管理

一、HDFS shell简介HDFS为用户提供了shell操作命令来管理HDFS上的数据。这些shell命令和Linux命令十分类似，常用命令可以参考Linux常用命令。HDFS基本命令格式如下：/bin/hdfs/ dfs -cmd cmd是具体的命令，cmd前面的“-”不能省略。二、使用HDFS shell处理移动通讯数据1、创建存放移动通信数据文件的目录查看目录结构hdfs dfs -ls 目录路径示例：查看HDFS根目录下的文件输入指令：hdfs dfs -ls /

2020-06-30 16:38:45 485

原创 hadoop秘籍-zookeeper的配置

配置全局环境变量: vi /etc/profileexport ZK_HOME=/opt/zookeeper-3.4.6export PATH=$PATH:$ZK_HOME/bin输入: source /etc/profile,使其生效输入: cd /opt/zookeeper-3.4.6/conf/进入配置文件的目录mv zoo_sample.cfg zoo.cfgvi zoo.cfgtickTime=2000maxClientCnxns=0# The number of ticks

2020-06-28 19:52:26 258

原创 hadoop秘籍-hadoop安装配置

准备工作Oracle VM VirtualBox工具下搭建的linux系统ssh工具：MobaXterm.11.0jdk版本：jdk 1.8hadoop安装包：hadoop-2.6.0-cdh5.14.2.tar.gzhbase-1.2.0-cdh5.14.2.tar.gzhive-1.1.0-cdh5.14.2.tar.gz安装步骤1、生成秘钥：输入指令：ssh-keygen -t rsa -P “”cat /root/.ssh/id_rsa.pub >> /root/

2020-06-28 17:41:17 357

原创使用VmWare安装Linux

一、打开VmWare Workstation，点击创建新的虚拟机，弹出一下界面，点击下一步。二、注意一下红框内的光盘映像文件，刚开始时没有，这里我是以前装过，所以没装过的要安装一下。安装过后，点击最后一项稍后安装操作系统，然后点击下一步。三、客户操作系统和版本选择如下，选好之后点击下一步。四、新建虚拟机名称以及你的工作路径，点击下一步。五、设置磁盘大小，可以按自己的需求定，我的这个分配了32g,其它选项照勾就行，点击下一步。六、这里点击自定义硬件。七、硬件相关配置1、设置内存为4个g2、设

2020-06-28 17:40:38 500

原创 Linux软件安装之MySQL

准备工作Oracle VM VirtualBox工具下搭建的linux系统ssh工具：MobaXterm.11.0安装方式：rpm安装数据库版本：MySQL 5.5安装步骤1．将MySQL的两个安装包拖入到你要安装的文件夹下，我放在了software文件夹中，输入ll命令可以看到MySQL的两个安装包2．yum下载依赖包：依次在software文件命令下，输入下面指令下载依赖包（1）第一个：yum install -y net-tools（2）第二个：yum install -y pe

2020-06-22 08:28:56 459

原创 Linux软件安装之Tomcat

准备工作Oracle VM VirtualBox工具下搭建的linux系统ssh工具：MobaXterm.11.0tomcat版本：8.5.45安装步骤1、导入tomcat包把tomcat压缩包导入目标文件夹中，我的是opt文件夹下2、解压tomcat包这里说明一下，由于linux是最小化安装，我的tomcat包是zip格式，需要安装unzip(yum安装)。输入指令：yum install -y unzip3、使用unzip解压缩tomcat包输入指令：unzip apache-t

2020-06-22 08:28:41 135

原创 ELK的安装及环境配置

一、ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是：高可用，高扩展，是一种NOSQL的数据存储工具二、ES安装前的准备(elk安装包版本要求一致)Oracle VM VirtualBox工具下搭建的linux系统ssh工具：MobaXterm.11.0 下载：jdk-8u221-linux-x64.tar.gzelasticsearch-6.2.2.tar.gzelasticsearch-head-master.zip

2020-06-18 21:45:19 668

原创 Linux软件安装之JDK

准备工作Oracle VM VirtualBox工具下搭建的linux系统ssh工具：MobaXterm.11.0 jdk版本：jdk 1.8安装步骤1、导入 jdk的安装包2、解压jdk输入tar -zxvf jdk指令安装jdk (注意:jdk文件名可输入前面几个字母然后按TAB自动补全) 解压过程过多，这里只截了开头部分过程。3、配置环境变量输入指令：vi /etc/profile ，进入编辑模式，找到 export PATH USER LOGNAME MAIL HOSTNA

2020-06-17 19:50:47 214

原创 Linux常用命令(系统:ConOS7)

目录操作1、结构/ 系统根目录、~当前用户家目录、其它普通目录2、目录：cd "/"开头都是绝对路径从根目录开始找"cd …/"返回上级目录“cd” … 返回上级目录mnt 共享目录root 根目录run 运行中的日志启动项运行项temp 临时目录“—>” 软链接cd 目录–绝对路径、相对路径(…/返回上一级)输入ll 展示目录详细信息3、清屏命令：clear或ctrl+l4、查看当前绝对路径：pwd5、直接输入cd，会直接回到家目录6、ls: -a -i

2020-06-16 21:56:09 1003 1

原创 Java Mysql+Mybatis 实现用户登录功能

Java Mysql+Mybatis 实现用户登录功能相关配置：1.相关配置首先java的编译器有许多，我使用的编译器是idea，jkd使用的是1.8版本，Tomcat是8.5.45版本。至于maven，我在这里没用到，所以跟我不一样的同学可以自行上网找maven的环境搭建，关于这方面网上有许多。在这里我贴个链接，有兴趣的同学可以去看看。https://blog.csdn.net/qq_32588349/article/details/51461182 。功能实现首先打开项目包，下面是我的项目结

2020-06-16 08:36:29 2345 1

weixin_47316344的博客