余杭杭-CSDN博客

原创 002.shell中方法

方法的作用是将代码抽取出来，减少冗余#!/bin/bash# 作者 shell 2022# functionfunction aa(){ echo $1}aa 223定义方法样例是 function 方法名(){业务逻辑}。我们定义了一个aa的方法，将参数223传递给方法aa，方法aa直接输出参数。使用$1指代第一个参数，第二个参数使用$2获取，多个参数依次顺延。调用使用的方法的时候，直接使用方法名加上参数。当然我们还可以构建一个无参的方法。在shell脚本里$0 表示脚.

2022-05-24 19:12:55 159

原创 001.书写简单的shell脚本

shell学习的目标是通过整合系统命令来构建自动化脚本。如何书写脚本？确定当前系统默认shell：echo $SHELLecho表示输出，后边紧跟输出的内容，默认输出到命令行,$SHELL代表获取SHELL所指代的变量值。当我们使用>或者>>重定向符号，表示将文件内容输出到文件。区别是>会覆盖文件的内容，>>会追加内容到文件上我们可以直接将信息写入到shell脚本中去，使用cat命令查看文件内容。#! 的作用是指定shell执行器使用vi.

2022-05-24 16:25:05 109

原创 000.环境准备以及简单的学习思路

linux服务器（网上教程按照步骤安装即可）：可以通过VMware搭建本地虚拟机或者购买云服务。ssh客户端工具：xshell（需要每年更新，功能强大），putty（小巧，免费，不需要更新，推荐官网下载），Tabby（github上开源软件，地址 GitHub - Eugeny/tabby: A terminal for a more modern age，如果输入中文需要切换成系统自带的微软拼音输入法）推荐边学记笔记：笔记软件可以是有道笔记，印象笔记。或者是github开源软件，如trilium.

2022-05-24 15:40:59 111

原创部署zookeeper集群

机器：hadoop110，hadoop114，hadoop115登录hadoop110创建大数据服务部署目录cd /app/1.1解压tar -zxf apache-zookeeper-3.6.3-bin.tar.gz -C /app/格式化mv apache-zookeeper-3.6.3-bin zookeeper-3.6.31.2修改配置cd /app/zookeeper-3.6.3/conf/cp zoo_sample.cfg zoo.cfgvi zoo.cfg修改：d..

2021-08-30 12:23:17 77

原创部署单节点hive数仓

配置环境变量export HIVE_HOME=/app/hive-3.1.2-bin追加 :$HIVE_HOME/sbin 到PATH创建数据库mysql -u root -pcreate database if not exists hive default character set utf8;create user 'hive'@'%' identified by '123456';grant all privileges on hive.* to 'hive'@'%' ide.

2021-08-25 11:03:16 106

原创部署单节点大数据平台

环境主机 hadoop1系统centos7hadoop版本 3.2.2jdk版本 1.8.0_301jdk和hadoop安装位置/app/部署免密# 输入四次回车ssh-keygen -t rsacd .ssh/cat id_rsa.pub > authorized_keyschmod 600 authorized_keys解压软件包tar -zxf hadoop-3.2.2.tar.gz tar -zxf jdk-8u301-linux-x6..

2021-08-24 09:20:56 137

原创 ansible 用户名密码

安装使用root权限yum-yinstallansible创建ansible作为ansible的配置信息存储目录mkdiransible进入目录cdansible创建配置文件vihosts[test]yhq112ansible_ssh_user=yhqansible_ssh_pass=123456说明[test] 主机组，主机组下边可以包含多条主机信息yhq112主机组下的主机名ansible_ssh_user 指定用户...

2021-08-23 09:46:58 2586

原创 expect 使用案例

安装--root权限yuminstallexpect-y案例一远程登录vissh-romote-login.exp#!/usr/bin/expectset timeout 20set host 127.0.0.1set user bigdataset password 123456spawn ssh $user@$hostexpect "*password:"send "$password\r"expect "*#"interactset设置变量，使用时...

2021-08-19 16:58:19 72

原创部署vue开发环境

安装选择对应系统下载：https://nodejs.org/en/download/方式一：下载.msi文件双击安装即可。按照步骤下一步就可以，可以修改安装目录。方式二：下载.zip文件解压，配置环境变量。step5追加内容nodejs解压目录设置设置npm全局模块目录和缓存目录新建两个目录npm,npm-cache命令行输入：mkdirnpmmkdirnpm-cachenpmconfigsetprefix"D:\nodejs\np...

2021-08-18 10:37:49 177

原创添加python的redis模块和redis-cluster模块

下载位置https://github.com/andymccurdy/redis-pyhttps://github.com/Grokzen/redis-py-cluster考虑版本兼容性，采用redis-2.10.6和redis-py-cluster-1.3.5采用python setup.py install 方式安装测试脚本# coding=UTF-8import sysfrom rediscluster import RedisClusterdef init_redis():

2021-08-17 14:41:15 447

原创非root账户配置开发环境

vi .bashrcexport JAVA_HOME=/home/hadoop/jdk1.8.0_151export MAVEN_HOME=/home/hadoop/apache-maven-3.8.1export MAVEN_OPTS=-Xmx2048mexport PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib:.:$CLASSPATH

2021-08-16 14:30:06 93

u011727208的博客