- 博客(21)
- 收藏
- 关注
RSS订阅原创 Linux安装nodejs和gitbook（CentOS 7.3）
一、Linux安装nodejs 1、安装Node.js和NPM nodejs官网下载：https://nodejs.org/en/download/ CentOS7.3系统是64位，所以下载了linux环境64位的安装包 目前Node.js 的版本 ：10.15.0 npm 的版本： 6.4.1 2、将 下载的安装包上传到服务...
2019-01-29 17:27:18
715
1
原创 Linux配置TomCat
1、下载tomcat安装包 https://tomcat.apache.org/download-80.cgi 2、新建tomcat存放的目录 3、新建 /usr/tomcat文件夹，并解压jdk到java目录下 4、进入解压的tomcat包的bin目录，并启动tomcat 浏览器访问Tomcat主页： 5、...
2019-01-26 09:57:48
427
原创 Linux JDK配置
1、查看Linux有无自带的jdk（openjdk）[root@localhost software]# rpm -qa | grep javajava-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64python-javapackages-3.4.1-11.el7.noarchtzdata-java-2016g-2.el7.noarchjavap...
2019-01-21 16:53:36
998
原创 CentOS7.X安装MariaDB数据库之YUM源安装
一、安装数据库前准备： 1、查看 虚机版本[root@ywl0115 ~]# cat /etc/centos-releaseCentOS Linux release 7.3.1611 (Core) 2、查看 虚机是否有自带MariaDB数据库[root@ywl0115 ~]# rpm -qa | grep mariadbmariadb-libs-5...
2019-01-19 14:23:51
10810
原创 安装 Linux系统（CentOS6.x版本）
一、 安装前准备1、下载Centos centos官网https://wiki.centos.org/Download2、下载vmware wmware的官网 https://my.vmware.com下载成功后，点击安装，提示输入许可证，直接将下面的永久注册码复制进去，继续下一步就好了。（下面时VMwareWorkstation 12 Pro的注册码，如果不是12的，百度搜索） VMware ...
2018-07-05 13:09:47
28745
4
原创 CentOS 6.X 离线安装 mysql 5.7.X
安装环境：系统是centos6.91、 mysql 下载地址https://dev.mysql.com/downloads/mysql/下载版本：我这里选择的5.7.22，通用版，linux下64位1）、鼠标向下拉2）、选择 mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz点击下载 2、 解压并重命名1）、解压tar -zxvfmysql-5.7.22-linu...
2018-07-02 17:36:42
2375
原创 phoenix(凤凰)与hbase集成
一、Phoenix 特点 phoenix：可以类似于mysql，作为客户端JDBC的驱动对hbase中的数据进行低延迟的访问 内部将sql查询语句编译成hbase内部的一系列scan操做二、phoenix下载1、点击连接<apache仓库>下载2、点击连接<官网下载>下载三、安装phoenix 1、解压 $ tar -zxf apache-...
2018-06-27 10:29:21
23018
5
原创 Hadoop完全分布式 -- HA配置
以3台机器配置 hadoop HA 为例hadoop CDH版本：hadoop-2.6.0-cdh5.15.0.tar.gzzookeeper CDH版本：zookeeper-3.4.5-cdh5.15.0.tar.gz【前提工作】一、配置好3台虚拟机 hosts$ vi /etc/hosts127.0.0.1 localhost localhost.localdomain localhost...
2018-06-22 17:50:53
6839
1
原创 sqoop--mysql表导入hive
mysql 导入 hive 如果使用之前的方式 需要3个步骤： 1、mysql -> HDFS 2、创建hive表 3、将数据load到hive表中 如果可以直接把mysql的数据导入hive中进行分析，会相当的方便 bin/sqoop import \ --connect jdbc:mysql://[hostname]:3306/sqoop \ --username root \ --pa...
2018-06-08 11:17:45
391
转载 hive 特殊数据类型 【array、map、struct】使用
hive提供了复合数据类型：Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域aMaps（K-V对）：访问指定域可以通过["指定域名称"]进行，例如，一个Map M包含了一个group-》gid的kv对，gid的值可以通过M['group']来获取Arrays：array中的数据为相同类...
2018-06-06 15:49:31
827
原创 Hive 创建表结构详情
1、Hive是一种建立在Hadoop文件系统上的数据仓库架构，并对存储在HDFS中的数据进行分析和管理；（也就是说对存储在HDFS中的数据进行分析和管理，我们不想使用手工，我们建立一个工具把，那么这个工具就可以是hive）2、 hive建表语法中的分隔符设定ROW FORMAT DELIMITED 分隔符设置开始语句FIELDS TERMINATED BY：设置字段与字段之间的分隔符...
2018-06-06 15:41:40
1742
原创 时间格式转换(hive)
日期函数1、UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format])返回值: string说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间格式hive> select from_unixtime(1323308943,'yyyyMM...
2018-05-24 14:56:11
1287
转载 国内第一篇详细讲解hadoop2的automatic HA+Federation+Yarn配置的教程
转载本文：吴超沉思录前言 hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。 hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，结构发生了很大变化，是hadoop未来使用的一个趋势。当然，配置也...
2018-05-16 17:04:18
479
转载 Yarn 调度器Scheduler详解
转载文章理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中，负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题，很难找到一个完美的策略可以解决所有的应用场景。为此，Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调...
2018-05-16 16:53:41
502
原创 windows系统克隆虚拟机
虚拟机克隆步骤：一、把要克隆的机器处在关机状态 二、开始克隆1）、鼠标放到要克隆的机器上 【右击】，选择 管理（M） 点击 【克隆】 2）、点击【下一步】 3）、如果你要克隆的虚拟机存在快照可自行选择是否从快照除克隆还是从当前状态克隆，然后点击【下一步】 4）、选择【创建完整克隆（E）】，然后点击 【下一步】 5）、自定义[虚拟机名称]和选择[克隆虚拟机]的路径(注意：克隆的路径不要和创建的虚拟...
2018-05-10 16:20:34
3448
原创 Windows下开发hadoop的MapReduce
首先，先说下流程吧：1、安装Eclipse（MyEclipse/intellij IDEA）2、将hadoop-eclipse-plugin-2.6.0.jar（这个jar百度下应该是有的）这个jar放在Myeclipse的安装目录的plugins3、在Windows解压hadoop-2.5.0.tar.gz，然后配置hadoop的环境变量（贴两个图上来，就不具体说了，这不就跟配置jdk是一样的嘛...
2018-05-09 16:29:54
506
转载 linux中nmcli命令使用及网络配置
Red Hat Enterprise Linux 7 与 CentOS 7 中默认的网络服务由 NetworkManager 提供，这是动态控制及配置网络的守护进程，它用于保持当前网络设备及连接处于工作状态，同时也支持传统的 ifcfg 类型的配置文件。 NetworkManager 可以用于以下类型的连接：Ethernet，VLANS，Bridges，Bonds，Teams，Wi-Fi，mobi...
2018-05-07 17:17:20
2235
1
转载 如何在CentOS 7上安装Apache HTTP
Apache HTTP服务器是世界上最流行的Web服务器。 它是一款免费的开源和跨平台的HTTP服务器，提供强大的功能，可以通过各种模块进行扩展。 以下说明介绍如何在CentOS7机器上安装和管理Apache Web服务器。安装ApacheApache在默认的CentOS仓库中可用，安装非常简单。 在CentOS和RHEL上，Apache软件包和服务称为httpd。 要安装软件包，请运行以...
2018-05-07 10:57:53
302
转载 Linux下的at定时执行任务命令详解
一、at服务 cron是一个linux下 的定时执行工具，可以在无需人工干预的情况下运行作业。 service atd start //启动服务 service atd stop //关闭服务 service atd restart //重启服务 service atd reload //重新载入配置 service atd status //查看服务状态 二...
2018-04-25 11:13:39
433
原创 windows系统（WIN10） 安装JDK
一、下载 JDK 安装包①.ORACLE 官网选择版本下载http://www.oracle.com/technetwork/java/javase/archive-139210.html②.可以在 《360软件管家》 下载二、安装JDK三、配置环境变量1、新建JAVA_HOME，路径是JDK的安装路径2、新建classpath，变量值.;%JAVA_HOME%\lib;%JAVA_HOME%\l...
2018-04-20 14:49:06
4143
1
原创 LINUX - su命令
su命令用于切换当前用户身份到其他用户身份，变更时须输入所要变更的用户帐号与密码。语法su(选项)(参数)选项-c或--command=：执行完指定的指令后，即恢复原来的身份；-f或——fast：适用于csh与tsch，使shell不用去读取启动文件；-l或——login：改变身份时，也同时变更工作目录，以及HOME,SHELL,USER,logname。此
2018-04-20 11:39:40
524
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人