- 博客(46)
- 收藏
- 关注
RSS订阅原创 Spark SQL
Spark SQL是spark中用于结构化数据处理的组件，可访问多种数据源，如连接Hive、MySQL，实现读写等操作。为什么要用spark去操作这些数据库呢？hive是一个基于Hadoop的数据仓库工具，hive的查询操作语句都要依赖于MapReduce任务进行处理，spark的计算效率比MapReduce高，spark SQL 在hive兼容层面做了进一步优化，所以如果用spark引擎与hive交互性能会显著提高。
2023-05-06 14:50:30
1302
1
原创 Hadoop集群---方便的脚本
把以下代码粘贴进去，一定要修改主机名，按照自己的需求修改，比如我的NameNode在第二台主机上启动，那启动hdfs时主机名就填第二台主机。在 root/bin 目录下创建脚本 (在这个目录下方便全局使用)在 root/bin 目录下创建脚本 (在这个目录下方便全局使用)脚本保存退出后并不是绿色的可执行文件，要给脚本加上执行权限。脚本保存退出后并不是绿色的可执行文件，要给脚本加上执行权限。脚本保存退出后并不是绿色的可执行文件，要给脚本加上执行权限。如果报错：bash：rsync找不到命令。
2023-03-20 16:15:23
800
原创 Hadoop--万恶NameNode各种起不来！！！
一下↓ 是对NameNode结点一些常见问题这里用到启动Hadoop集群的脚本：myhadoop.sh start 和查看进程脚本：jpsall (后面会写一篇关于脚本的文章)先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop（每个人可能路径不同），查看这个目录下的core-site.xml 、 yarn-site.xml 、 hdfs-site.xml 、mapred-site.xml 、 workers仔细阅读配置文件，字母、括号都不要错过！！！！
2023-03-20 11:39:19
2491
原创 计算机组成原理第二章----数据信息的表示 详解版（写的这么接地气我一下就懂了?）
但是补码的模运算特性能解决这一问题，比方说，时钟从2点到4点，你可以顺时针转到4点（+2格），也可以逆时针转到4点（-10格），因为时钟是以12为模的，结果都是相同的到达了4点，补码也有这种特性，但原码、反码没有，刚说过计算机就能做加法运算，那只能把减一个数变成加一个负数，补码刚好能做到，这不就像时钟一样，不论是+2还是-10都能转到正确的结果4点。阶码的位数决定数据表示的范围，阶码位数越多表示的数据范围就越大，而阶码的值决定了小数点的位置，尾数的位数决定数据表示的精度。一遍复一遍，其义自见，加油。...
2022-09-01 17:13:22
1153
原创 计算机组成原理（谭志虎主编 ）
1、电子管计算机（1946-1958年）基本电子器件为电子管，主存先后采用水银延迟线、磁鼓、磁芯，存储容量只有几千个存储单元，编程语言为机器语言。2、晶体管计算机（1958-1964年）第二代计算机的基本元器件为晶体管，主存采用磁芯存储器，存储容量增至10万个存储单元以上，编程语言主要为汇编语言。3、集成电路计算机（1964-1971年）基本电子器件采用集成电路，主存采用半导体存储器，出现键盘、鼠标、显示器等外部设备。4、超大规模集成电路计算机（1971至今）...
2022-08-17 14:36:24
1969
原创 HDFS----shell命令
HDFS定义：HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务 器有各自的角色。 HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭 之后就不需要改变。HDFS组成架构：NameNode（nn）：就是Master，它是一个主管、管理者。 （1）管理HDFS的名称空间； （2）配置副本策略；..
2022-03-23 19:55:39
150
原创 Hadoop集群测试时，HDFS可视化的网页没有或少一个Node信息
NameNode HTTP UI界面中没有或少一个Node信息问题解决：这里没有node信息 ，第一步查看一下三个主机的hadoop家目录下data中有没有dfs目录我的错误原因是其中一台主机上没有dfs目录（我把每一个主机上的data、logs都删了，然后格式化了HDFS，所以data下的dfs就没了）解决方法：把hadoop集群关闭（或者按照顺序关闭hdfs、yarn....）然后在缺少dfs的主机上执行群起hadoop集群的命令，就出现了dfs，网页上再刷新一下，结点信息就
2022-03-21 20:47:35
4037
3
原创 linux- shell编程语法
shell编程运算符基本语法1、 “$((运算式))” 或"$[运算式]" 或者 expr m + n2、注意expr运算符间要有空格，如果希望将 expr的结果赋给某个变量，使用` `3、expr m - n4、expr * / % 乘 除 余shell编程条件判断shell编程单分支多分支...
2022-03-06 19:34:41
485
原创 shell编程 Linux未知参数变量
shell编程 Linux未知参数变量介绍当我们执行一个shell脚本时，我们想获取命令行中的参数信息，就可以用到未知参数变量，比如：# 执行一个脚本./hello.sh 100 200其中100 200是执行此shell脚本时传入的参数，通过脚本里的代码可以获取到参数，比如把参数输出（当然也可以对参数进行其他操作）：#！/bin/bash# 打开hello编辑vim hello.sh# 获取参数 输出echo "0=$0 1=$1 2=$2"# 其中0就相当于此可执行文
2022-03-04 21:02:05
814
原创 Linux安装Tomcat
安装Tomcat1、下载Tomcat把Tomcat压缩包直接在Windows解压，然后用xftp软件在opt目录下建一个Tomcat文件目录，把解压的Tomcat文件传送到Linux系统的opt/Tomcat这样就不用在命令行通过指令来完成解压，不易出错。2、在xshell中找到Tomcat的bin目录，在bin目录下执行指令./startup.sh在这里遇到一些小插曲，我不是通过Linux指令解压的Tomcat压缩包，而是直接把解压好的文件通过xftp传输..
2022-01-18 18:05:28
782
原创 在Linux上安装配置JDK8
下载jdk 8（Linux系统的），下载到Windows主机安装步骤1、在Linux系统创建一个目录用来放jdk8mkdir /opt/jdk2、通过xftp6上传到 /opt/jdk下把下载的jdk8传到Linux系统：3、 查看Linux中jdk目录里是否有压缩文件cd /opt/jdk4、解压tar -zxvf jdk-8u311-linux-x64.tar.gz解压完成5、mkdir /usr/loc...
2022-01-15 23:25:54
607
原创 Linux实操--RPM和yum
RPM包的管理介绍rpm用于互联网下载包的打包及安装工具，它包含在某些Linux分发版中。它生成具有 .RPM扩展名的文件。RPM是RedHat Package Manager (RedHat软件包管理工具）的缩写，类似windows的setup.exe，这一文件格式名称虽然打上了RedHat的标志，但理念是通用的。Linux的分发版本都有采用(suse,redhat, centos等等），可以算是公认的行业标准了。rpm包的简单查询指令查询已安装的rpm列表 rpm - qa |grep
2022-01-15 19:25:08
117
原创 Linux虚拟机--进程
进程概念在LINUX中，每个执行的程序都称为一个进程。每一个进程都分配一个ID号(pid,进程号)。 每个进程都可能以两种方式存在的。前台与后台，所谓前台进程就是用户目前的屏幕上可以进行操作的。后台进程则是实际在操作，但由于屏幕上无法看到的进程，通常使用后台方式执行。 一般系统的服务都是以后台进程的方式存在，而且都会常驻在系统中。直到关机才才结束。 显示系统执行进程基本介绍ps命令是用来查看目前系统中，有哪些正在执行，以及它们执行的状况。可以不加任何参数.带参数：...
2022-01-15 17:19:34
6137
原创 关于ping不通
关闭window防火墙如果出现在window命令行ping 虚拟机 他不显示请求超时、失败，而是一直卡住没有反应，则可能是Windows防火墙挡住了通信的包（可能叫做包）解决办法：关闭防火墙网络问题如果关闭防火墙还不行，则可能是网络问题，IP输入出错、vmnet8（虚拟网络）出错。虚拟网络是虚拟机网络在NAT模式下，一种网络连接方式。我是因为删除有安装vmware，删除时没删除干净，导致后来下载时有些东西丢了（包括vmnet8）如果没有图中的VMnet8那指定连不
2022-01-14 01:30:34
1398
原创 Linux虚拟机网络相关（三种网络连接）
Linux系统是怎么可以上网的 ？ Linux网络是NAT模式NAT模式： NAT 模式中，就是让虚拟机借助 NAT ( 网络地址转换) 功能，通过宿主机器所在的网络来访问公网。 NAT 模式中，虚拟机的网卡和物理网卡的网络，不在同一个网络，虚拟机的网卡，是在 vmware 提供的一个虚拟网络。(1) NAT 模式和桥接模式虚拟机都可以上外网。(2) 由于 NAT 的网络在 vmware 提供的一个虚拟网络里，所以局域网其他主机是无法访问虚拟机的，而宿主机可以访问虚拟机，虚拟机可以访问局域网的所
2022-01-14 01:10:50
4727
原创 Linux磁盘分区、挂载
Linux分区原理介绍1. Linux来说无论有几个分区，分给哪一目录使用，它归根结底就只有一个根目录，一个独立且唯一的文件结构，Linux中每个分区都是用来组成整个文件系统的一部分。2. Linux采用了一种叫“载入”的处理方法，它的整个文件系统中包含了一整套的文件和目录，且将一个分区和一个目录联系起来。这时要载入的一个分区将使它的存储空间在一个目录下获得（文件目录是一种逻辑结构，为了方便把各种文件分类，但事实上内容并不是存储在这些文件目录里的，因为它不是物理结构，而文件内容要存储在物理
2022-01-13 18:28:46
1225
原创 crond任务调度
crontab进行定时任务的设置概述任务调度:是指系统在某个时间执行的特定的命令或程序。任务调度分类:1.系统工作:有些重要的工作必须周而复始地执行。如病毒扫描等个别用户工作:个别用户可能希望执行某些程序，比如对mysql数据库的备份。基本语法crontab [选项]常用选项-e 编辑crontab定时任务 -l 查询crontab任务 -r 删除当前用户所有的crontab任务 任务调度设置任务调度文件:/etc/crontab设置个...
2022-01-11 15:05:15
564
原创 Linux组的相关概念
Linux组基本介绍：在 linux 中的每个用户必须属于一个组，不能独立于组外。 在 linux 中每个文件有所有者、所在组、其它组的概念文件目录所有者一般为文件的创建者,谁创建了该文件，就自然的成为该文件的所有者。 当某个用户创建了一个文件后，这个文件的所在组就是该用户所在的组 除了文件的所有者所在的组，其他用户所在组叫其他组（其他人员）查看文件的所有者指令: ls -ahl修改文件所有者指令:chown 用户名（要是存在的） 文件名●应用案例要求:使用root 创建一个文件app
2022-01-10 15:05:22
1876
原创 Linux时间、查找、解压指令
date指令-显示当前日期基本语法date(功能描述:显示当前时间)date +%Y(功能描述:显示当前年份)date +%m(功能描述:显示当前月份)date +%d(功能描述:显示当前是哪一天)date "+%Y-%m-%d %H:%M:%S"（功能描述:显示年月日时分秒)显示当前时间信息date显示当前时间年月日date "+%Y-%m-%d"显示当前时间年月日时分秒date " +%Y-%m-%d %H:%M:%S"date指令-设置日期基本语法da..
2022-01-09 22:09:33
693
原创 Linux文件目录类（常用指令）
文件目录类cd指令基本语法:cd [参数] (功能描述:切换到指定目录)cd ~或者cd :回到自己的家目录绝对路径和相对路径绝对路径：目标文件在硬盘上的真实路径（最精确路径，从根目录开始的。）相对路径：相对于当前文件位置的路径...
2022-01-06 22:35:20
1187
原创 Linux实操篇
vi和vim编辑器vi:Linux系统会内置vi文本编辑器vim：具有程序编辑的能力，可以看做vi的增强版本，可以主动的以字体颜色辨别语法的正确性，方便程序设计。vi和vim的三种模式1、正常模式以vim直接打开文件进入一般模式也叫默认模式。在这个模式中，可以使用【上下左右】按键来移动光标，可以使用【删除字符】或者【删除整行】来处理文件内容，也可以使用【复制、粘贴】来处理文件数据。2、插入模式按 i，I，o，O，a，A，r，R等任何一个字母之后才会进入编辑模式。3、命令行模式
2022-01-05 15:04:38
984
原创 Linux远程登录和Linux远程文件传输（xshell和xftp）
Linux远程登录 XshellXShell 是一个强大的安全终端模拟软件，它支持SSH1,SSH2，以及Microsoft Windows平台的TELNET协议。 XShell 可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的。 由于在虚拟机中操作 Linux 系统需要频繁切换鼠标，缺乏个性化设置，不支持中文显示，所以我们将使用 XShell 来连接并使用安装好Linux系统的虚拟机。 可能我们要操作的Linux系统并不在我们电脑上，而是距离很远，我们
2022-01-04 21:42:28
839
原创 Linux目录结构
文件系统的最顶层是由根目录开始的，系统使用/来表示根目录。在根目录之下的既可以是目录，也可以是文件，而每一个目录中又可以包含子目录文件。如此反复就可以构成一个庞大的文件系统。 /bin： bin 是 Binaries (二进制文件) 的缩写, 这个目录存放着最经常使用的命令。 /boot： 这里存放的是启动 Linux 时使用的一些核心文件，包括一些连接文件以及镜像文件。 /dev ： dev 是 Device(设备) 的缩写, 该目录下存放的是 Linux...
2022-01-04 21:00:49
60
原创 Linux虚拟机网络连接、虚拟机克隆、快照
Linux虚拟机网络连接三种方式1、桥接模式（不推荐）优点：虚拟机可以和外界通信缺点：在桥接模式下虚拟机和主机用的是同一个网段（192.168.0）（IP地址为了便于理解随便编的），而一个网段最多有255个IP地址，当用户和虚拟机过多（超过255）时会造成IP冲突。2、NAT模式主机内生成虚拟的IP地址（192.168.100.99）和虚拟系统Linux形成一个网络进行通信，再通过主机（母机）的IP与外界通信，这样就解决了IP冲突问题。3、主机模式独立的系统，不.
2022-01-04 16:47:33
282
原创 VMware、Linux操作系统（centOS）安装 详细过程
如何在Windows操作系统下使用其他操作系统（Linux为例）？一台电脑只能有一个操作系统，那如何解决在一个操作系统上运行其他操作系统？在Windows上安装VMware虚拟机软件就能实现在Windows操作系统上运行其他操作系统（根据需求下载其他操作系统，VMware为其在Windows上运行提供条件和可能）其中Linux操作系统有很多分类，我使用的是centOS7 VMware是什么？ VMWare虚拟机软件是一个“虚拟 PC ”软件，它使你可以在一台机器上同...
2022-01-03 20:31:28
460
原创 Maven的安装配置
1、Maven是什么？Maven是一个项目管理工具，可对Java项目进行构建和依赖管理。在完成一个项目的过程中，项目的编译、测试、打包、引用jar包搭建项目环境等工作重复又繁琐，Maven能很好的解决这个问题，把jar包等工具统一放到Maven仓库中，用的时候直接调用，可以解决开发时以下问题：（帮助我们自动导入和配置jar包）解决jar包冲突（版本不同可能造成冲突） 解决jar包依赖问题 jar包不用再每个项目保存，只需要放在仓库即可 Maven可以指定jar包的依赖范围Maven 的.
2022-01-02 23:40:43
239
原创 Java图形用户界面 （基本组件）
1、标签文本框与网格管理器应用实现一个登录界面import javax.swing.*;import java.awt.Color;public class J10 extends JFrame{ J10(){ setTitle("登录页面"); setSize(400,500); setVisible(true); } public static void main(String[] args) { new J10(); }}import
2022-01-02 19:35:43
1304
原创 MySQL、Java、Navicat初用（基于Java实训学生管理系统）
MySQL和Navicat的安装过程遇到的问题MySQL安装几次不成功（原因：下载的是源文件，不是应用程序）安装完成后按照百度完成配置然后下载安装Navicat关于用Navicat连接MySQL一直显示连接失败（失败原因：Client does not support authentication protocol requested by server; consider upgrading MySQL client）根据百度说输入alter user 'root@'.
2022-01-02 19:34:08
1216
原创 Java图形用户界面（容器）
1、JFrame图形用户界面：运行后实现的是一个空白窗口，就相当于一个空窗框，我们可以根据需求一步步往“窗框”上（窗口上），添加我们想要实现的。import javax.swing.*;import java.awt.Color;public class J10 extends JFrame{ J10(){ //setTitle("登录页面"); setSize(400,500); setVisible(true); } public static void main(S
2021-12-11 22:47:54
2839
原创 Java 图形用户界面
代码实现1、创建窗口对象import javax.swing.*; //public class J10 extends JFrame { //JFrame是javax.swing包中用来创建窗口的类 J10(){ setTitle("登录界面"); //设置窗体标题名称 setSize(400,150); //设置窗口宽度与长度 setVisible(true); } public static void main(String[] args) { // ...
2021-11-24 19:04:06
379
原创 Java语言程序设计
面向过程与面向对象二者都是一种思想，面向对象是相对于面向过程而言的。面向过程强调的是功能行为，以函数为最小单位，考虑怎么做。 面向对象，将功能封装进对象，强调具备了功能的对象，以类/对象为最小单位，考虑谁来做。例如：事件把大象装进冰箱。 面向过程：通过函数 打开冰箱门--找到大象，拿起大象--来到冰箱前--抬起大象--放进冰箱 一步一步把这个过程的细节完成。 面向对象：人这个对象里有属性和打开冰箱抬起大象的行为，大象这个对象，有其属性和行为，通过调用这些对象把这个事件完成。面向对象编程面向对..
2021-10-28 00:27:23
200
原创 数据结构（排序）2021-06-13
数据结构C语言版 第八章 排序内部排序1、插入排序 ：直接插入排序、折半插入排序、希尔排序2、交换排序： 冒泡排序、快速排序、3、选择排序： 简单选择排序、树形选择排序、堆排序时间复杂度都为平均时间复杂度直接插入排序：从初始关键字开始，每次加入一个新的关键字，直接与前面的关键字进行有序比较并插入到合适位置。（扩大有序记录，把新扩入的关键字直接插入到合适位置）时间复杂度O（n2） 空间复杂度 O（1）折半插入排序：与直接插入类似，区别在于直接插入是通过顺序查找法在已排好的序列中寻找合适的插入位置
2021-06-13 13:52:33
2398
原创 2021-05-27数据结构从零开始代码实现
数据结构代码实现 （摸索）顺序表单链表（结点方式）顺序表通常用数组来描述数据结构中顺序存储结构（顺序表是基于数组实现的)。疑惑1：数据结构书本上的伪代码顺序表的存储结构：#idefine MAXSIZE 100typedef struct{ ElemType *elem; int length;}SqList;顺序表的初始化：Status InitList(SqList &L){//构造一个空的顺序表L L.elem=new ElemType[MAXSIZE]; i
2021-05-27 18:03:56
73
原创 数据结构数组存储地址问题 （看了不可能不会）2021-05-13
数据结构数组存储问题求解数组元素存储位置一般数组不做插入和删除操作，一旦建立了数组，则结构中的数据元素个数和元素之间的关系就不再发生变动，因此采用顺序存储结构表示数组比较合适。对二维数组有两种存储方式 1、行序为主序的存储方式 (行优先)2、列序为主序的存储方式 列优先b[0][0] b[0][1] b[0][2] b[0][3]b[1][0] b[1][1] b[1][2] b[1][3]上边是一个二维数组b[2][3] 下标从0开始，2行3列，下面是这个二维数组以行优
2021-05-14 21:52:13
9433
13
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人