- 博客(15)
- 收藏
- 关注
RSS订阅原创 Hadoop用户启动hdf三个进程
再上次的课程中我们配置了root用户来启动了hdfs，hdfs-site.xml内的参数都是官方默认的参数，所以启动项没有整理比较乱，为了做生产标准统一规范使用，我要用hadoop用户启动hdfs进程的启动显示全部为hadoop-01的主机名，先看看root用户下启动的情况可以看到namenodes datanode sercondary namenodes 进程启动的名称都不相同，...
2019-07-16 12:16:21
1195
原创 Hadoop伪分布式模式部署 HDFS（root用户）
Hadoop伪分布式模式部署Hadoop2.x：官网：hadoop.apache.org三个组件：HDFS：分布式文件系统，存储MapReduce：分布式计算Yarn：资源（cpu + memory）和JOB调度监控文档地址： http://hadoop.apache.org/docs/r2.8.2/部署方式：1.单机模式（Standalone）...
2019-07-16 12:04:24
334
原创 Hadoop 编译
1.官网：http://hadoop.apache.org/2.Hadoop的狭义和褒义认识：狭义：软件(HDFS、MapReduce、Yarn)褒义：以Hadoop为主的生态圈3.Hadoop版本Hadoop1.x： HDFS：分布式文件系统，存储 MapReduce：分布式计算+资源调度和作业调度Hadoop2.x HDFS：存储 M...
2019-07-16 11:44:16
173
原创 Hive的安装部署
Hive环境的搭建 /home/hadoop/ （目录） software 存放安装软件 hadoop-2.6.0-cdh5.7.0.tar.gz hive-1.1.0-cdh5.7.0.tar.gz data 存放测试数据 source 存放源代码 had...
2019-03-11 21:42:14
123
原创 MySQL常用命令和SQL语法
MySQL的基本概念：database db ：数据库table ： 表db1：t1, t2, t3db2：t2, t3, t4字段类型：整数型：int小数型：float/double字符：char字符串：varchar时间：timestamp常规命令：使用某个数据库： use 数据库名;查看数据库下面所有的表：...
2019-03-11 21:21:16
106
转载 SQL删表
一、SQL中的语法1、drop table 表名称eg: drop table dbo.Sys_Test2、truncate table 表名称eg: truncate table dbo.Sys_Test3、delete from 表名称 ...
2019-03-11 21:11:04
111
原创 Hadoop与root用户配置ssh免密码登录
Hadoop用户配置ssh1.创建Hadoop用户 # useradd hadoop # id hadoop # vi /etc/sudoers hadoop ALL=(root) NOPASSWD:ALL2.部署ssh，确保其是运行的查看：默认是已经安装hadoop]$ sudo service sshd status3.配置hadoop用户的...
2019-03-11 21:08:24
843
原创 本地HUE搭建步骤
1.安装前准备：[hadoop@hadoop000 app]$ sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-de...
2019-03-11 21:01:57
803
原创 Linux常用命令汇总
1. 查看当前ip - linux# ifconfig查看当前ip - windowscmd -> ipconfig2.CRT/XSHELL 链接 Linux3.文件创建 vi 和touch xxx.log 创建一个空的文件4.文件夹创建 mkdir xxx 创建1层 mkdir -p 1/2/3 连续创建3层 mkdir 4 5 6 同层1...
2019-03-11 20:51:54
579
原创 Hadoop：1、Hadoop基础与编译
Hadoop基础大数据概述可以用“5V + 1C”来概括： Variety (多样化） 2. Volume (海量） 3. Velocity (快速） 4. Vitality (灵活） 5. Value (价值性） 6. Complexity (复杂）Hadoop与Hadoop...
2019-03-11 20:32:42
99
原创 MySQL二进制部署
1.Download[root@sht-sgmhadoopnn-01 ~]# cd /usr/local#选择win7的mysql软件包[root@sht-sgmhadoopnn-01 local]# rz2.Check isnot install[root@sht-sgmhadoopnn-01 local]# ps -ef|grep mysqldroot 2493 ...
2019-02-28 12:17:34
197
原创 IDEA常用的快捷键
IntelliJ Idea 常用快捷键列表Alt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等)Ctrl+E或者Alt+Shift+C 最近更改的代码Ctrl+R 替换文本Ctrl+F 查找文本Ctrl+S...
2018-07-21 04:39:30
112
原创 Scala 数据类型
Scala 与 Java有着相同的数据类型，下表列出了 Scala 支持的数据类型：数据类型 描述 Byte 8位有符号补码整数。数值区间为 -128 到 127 Short 16位有符号补码整数。数值区间为 -32768 到 32767 Int 32位有符号补码整数。数值区间为 -2147483648 到 2147483647 Long 64位有...
2018-07-17 16:30:28
183
原创 scala下载和环境搭建
一． Scala下载及环境搭建1.1. Scala介质 确保本地以及安装了 JDK 1.5 以上版本，并且设置了 JAVA_HOME 环境变量及 JDK 的bin目录。我们可以使用以下命令查看是否安装了 Java：[hadoop@hadoop000 app]$ echo $JAVA_HOME/home/hadoop/software/jdk1.7.0_80 接下来...
2018-07-17 16:24:36
939
原创 Hadoop jps 详解 - jps报27342 -- process information unavailable
前言：本次课程，J哥给我们讲了jps，很多知识点还不是特别熟悉，以下的是我自己梳理的信息Haoop jps 详解jps最主要的功能使查看java接口的进程号jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有 java 进程 pid 的命令，简单实用，非常适合在 linux/unix 平台上简单察看当前ja...
2018-07-10 15:30:22
469
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人