![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据之路
文章平均质量分 65
长歌风华
这个作者很懒,什么都没留下…
展开
-
HDFS的基本操作指令
hdfs分布式文件系统 , 将一个大的文件拆分成多个小文件存储在多台服务器中,文件系统: 目录结构(树状结构) "/" 树根, 目录结构在namenode中维护1、创建目录 mkdirmkdir : 创建目录/data ; 路径 , 需要从 ”/“ 开始hadoop dfs -mkdir /data-p : 递归创建多级目录hadoop dfs -mkdir -p /a/b/c2、查看文件,ls 没有cd命令, 需要指绝对路径hadoop dfs -ls /da...原创 2021-09-23 19:50:22 · 594 阅读 · 0 评论 -
linux下zookeerper的安装及搭配
1、上传安装包到master并解压 tar -xvf zookeeper-3.4.6.tar.gz2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export PATH=$PATH:$ZOOKEEPER_HOME/bin source /etc/profile3、修改配置文件 cd conf cp zoo_sample...原创 2021-09-23 19:24:28 · 189 阅读 · 0 评论 -
MapReduce之wordcount代码
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.h..原创 2021-09-23 19:21:56 · 201 阅读 · 0 评论 -
HADOOP2.7.6的安装及搭建
1、关闭防火墙 所有节点service iptables stopchkconfig iptables off2、设置免密钥在master中生成密钥文件ssh-keygen -t rsa一直回车将密钥文件同步到所有节点ssh-copy-id masterssh-copy-id node1ssh-copy-id node23、上传hadoop安装包 上传到msater的/usr/local/soft/hadoop-2.7.6.tar.gz4、解压tar -xvf ..原创 2021-09-17 15:56:15 · 539 阅读 · 0 评论 -
HADOOP2.7.6的安装及搭建
1、关闭防火墙 所有节点service iptables stopchkconfig iptables off2、设置免密钥在master中生成密钥文件ssh-keygen -t rsa一直回车将密钥文件同步到所有节点ssh-copy-id masterssh-copy-id node1ssh-copy-id node23、上传hadoop安装包 上传到msater的/usr/local/soft/hadoop-2.7.6.tar.gz4、解压tar -xvf ..原创 2021-09-17 15:53:44 · 390 阅读 · 0 评论 -
Redis的集群安装
1、创建安装目录 在master ,node1 ,node2中分别创建 mkdir /usr/local/soft/redis-cluster2、将redis 复制到redis-cluster 目录下修改名字为7000 cp -r /usr/local/soft/redis /usr/local/soft/redis-cluster mv /usr/local/soft/redis-cluster/redis /usr/local/soft/redis-cluster/70...原创 2021-09-16 20:49:39 · 178 阅读 · 0 评论 -
Redis的单节点安装
Hadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/1.hadoop 安装1.1 解压安装[root@node09 ~]# cd /opt/software/[root@node09 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/1231.2 将Hadoop添加到环境变量[root@node09 hadoop-3.1.3]# s..原创 2021-09-16 20:48:58 · 42 阅读 · 0 评论 -
MySQL之jdbc以及shell链接
shell操作mysql #!/bin/sh MYSQL="mysql -hmaster -uroot -p123456" sql="select * from shujia.student where sex='0'" result="$($MYSQLsql" -e "$)" echo "$result"java操作mysql 导入第三方工具包 file->project structure->Modules->Dep...原创 2021-09-05 19:42:39 · 702 阅读 · 0 评论 -
MySQL基本命令之表连接
连表联查 union:结果集进行合并(纵向合并) 格式: 查询语句 union 查询语句 注意: 查询列数必须相同 字段为第一个sql语句的字段 union默认去重 union all不去重 left join(以左表为基准关联右表中的数据) 格式: select * from 左表 left joi...原创 2021-09-05 19:40:01 · 257 阅读 · 0 评论 -
MySQL基本命令2
字段进行算术运算 格式: (字段 符号 字段) 例如: select (name+age) from students; 注意: 字符串参与运算字符串为0参与运算拼接: 格式: concat(str1,str2...) 例如:把name和age以-拼接显示 select concat(name,'-',age)from students; 格式: concat_...原创 2021-09-05 19:38:54 · 150 阅读 · 0 评论 -
MYSQL基本命令1
关系型:以行作为记录,列数相同非关系型:以列作为记录,行数随便服务器->数据库->表(行列组成的二维表格)->行client操作服务器通过命令登录操作:mysql -u用户名(默认root) -p密码SQL语句:每个命令执行结束加分号结束 查询所有数据库:show databases; 切换数据库:use 库命名; 创建数据库:create database [IF NOT EXISTS] 库名; 删除数据库:drop database [IF ...原创 2021-09-05 19:38:07 · 39 阅读 · 0 评论 -
Shell的基本指令
shell操作linux的桥梁 创建: 后缀为.sh的文件 编写: 头部注释为#!/bin/sh或者#!/bin/bash(注释可写可不写,建议写上) 运行: 1.通过sh命令执行 例如:sh helloworld.sh 2.通过bash命令执行 例如:bash helloworld.sh 3.通过把文件修改为可执行的文件然后通过./文件命令.sh来执行...原创 2021-09-02 19:11:05 · 195 阅读 · 0 评论 -
Linux离线安装mysql
离线安装Mysql1°、查看mysql的依赖rpm -qa | grep mariadb2°、删除mysql的依赖rpm -e --nodeps `rpm -qa | grep mariadb`或者rpm -e --nodeps `rpm -qa | grepmariadb`3°、离线安装mysql(cd 到mysql安装包目录下)rpm -ivh MySQL-server-5.1.73-1.glibc23.x86_64.rpmrpm -ivh MySQL-client-5.原创 2021-08-31 20:41:41 · 60 阅读 · 0 评论 -
Linux的用户和用户组
用户和用户组用户在/etc/passwd中用户组在/etc/group/中注意:在创建用户时,系统默认生成一个用户组(组名和用户名一致)查看用户时:cy:x:1000:1000:cy:/home/cy:/bin/bashcy:用户名x:加密的密码1000:用户编号1000:组编号cy:用户全名称/home/cy:所在位置/bin/bash:可执行命令useradd:添加用户格式:useradd 用户名passwd:修改密码格式:passwd 用户名注意:输入密码时,原创 2021-08-31 20:38:36 · 1203 阅读 · 0 评论 -
Linux的基本命令
安装VmWare注意事项 1.是否启动虚拟化服务 2.安装之后是否出现虚拟网卡虚拟化服务禁用如何开启 win10系统->更新和安全->恢复->高级启动->疑难解答->高级选项->UEFI 固件启动->(有的电脑直接进入BOIS命令,有的电脑需要手动选择BOIS)->虚拟化服务->开启->保存退出安装之后没有出现虚拟网卡 1.卸载重装 2.下载CClear软件,扫描清理注册表安装Linux之后VMn...原创 2021-08-31 20:37:16 · 104 阅读 · 0 评论