自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(28)
  • 资源 (2)
  • 收藏
  • 关注

原创 mysql练习

#创建0630mysql练习题数据库CREATE DATABASE IF NOT EXISTS 0630_practice;USE 0630_practice;#创建学生信息表CREATE TABLE IF NOT EXISTS stuInfo( CLASSNO VARCHAR(50), STUDENTNO INT(11), `NAME` VARCHAR(50), SEX VARCHAR(50), COURSE VARCHAR(50), GRADE INT(11) );#向学生信息表

2020-06-30 19:21:39 3190

原创 使用Java API 访问HDFS上的数据

文章目录一.概述二.搭建环境一.概述除了可以用HDFS shell的方式 来访问HDFS上的数据,Hadoop还提供了以Java API的方式来操作HDFS上的数据.由于我们实际开发的大数据应用都是以代码的方式提交的,所以在代码中使用API的方式来操作HDFS数据必须掌握二.搭建环境1.我们使用Maven来构建Java程序,所以需要添加maven的依赖包,在pom.xml文件中的<dependencies>标签下添加如下代码:<dependency> &

2020-06-30 09:57:59 3401

原创 大数据概况和Hadoop生态系统

文章目录一.大数据概况二.Hadoop介绍1.Hadoop概念2.使用Hadoop原因3.Hdoop与关系型数据库对比4.Hadoop生态圈5.Zookeeper6.Hadoop架构一.大数据概况1.什么是大数据?大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。2.大数据的特征1)4V特征Volume(大数据量):90% 的数据是过去两年产生Velocity(速度快):数据增长速度快,时效性高Variety(多样化):数据种类和来源多样化结构化数据、半结构化

2020-06-29 19:45:36 2976

原创 IO流/输入输出流(下)

文章目录(四)字符输入流Reader(五)字符输出流Writer(六)读写二进制文件三.序列化与反序列化注:续IO流/输入输出流(上):点我进入(四)字符输入流Reader一.Reader类1.Reader类常用方法int read( )int read(char[] c)read(char[] c,int off,int len)void close( )2.子类InputStreamReader常用的构造方法InputStreamReader(InputStream in)Inp

2020-06-28 19:47:42 316

原创 IO流/输入输出流(上)

文章目录一.文件二.流(一)字节输入流(二)字节输出流(三)练习:请用字节输入输出流复制一个文本文件一.文件1.文件的概念:相关记录或放在一起的数据的集合2.Java程序访问文件方式-->java.io.File类3.创建文件对象: File file = new File(String path);4.File类常用的方法如下:方法名说明boolean exists( )判断文件或目录是否存在boolean isFile( )判断是否是文件bool

2020-06-28 12:30:11 360

原创 hadoop组件之hive环境搭建

文章目录一.什么是Hive?二.Hive与传统数据库比对三.Hive部署1.下载与安装2.Hive需要提前装好MySQL3.Hive配置文件修改一.什么是Hive?Hive是建立在Hadoop之上的一个工具.能够帮助用户屏蔽掉复杂的MapReduce逻辑,只需要用户使用简单的SQL语句即可完成一定的查询功能.Hive利用HDFS存储数据,利用MapReduce查询数据二.Hive与传统数据库比对HiveRDMS查询语言HQLSQL数据存储HDFSRaw De

2020-06-27 19:43:57 712

原创 hadoop组件之hbase环境搭建

文章目录一.安装HBase之前,需要具备如下三个前置条件二.安装HBase与配置环境变量一.安装HBase之前,需要具备如下三个前置条件1.HBASE的运行需要JDKjdk安装2.HBase的底层存储依赖于HDFS,需要安装hadoop环境Hadoop与集群环境搭建3.HBase依赖于ZooKeeper来做分布式协调工作,所以需要安装Zookeeper的环境本文使用自己搭建的环境zookeeper搭建环境与时间同步二.安装HBase与配置环境变量1.下载安装包:2.拖入

2020-06-27 14:10:52 817

原创 zookeeper的配置和zookeeper集群的时间同步设置

文章目录

2020-06-26 18:56:36 1653

原创 使用VMware安装linux的centos7系统

文章目录一.安装VMvare软件,下载centos7镜像文件,提取码: hn97二.相关设置三.启动该虚拟机四.配置静态ip一.安装VMvare软件,下载centos7镜像文件,提取码: hn97点我下载安装VM15.5.1,安装完成后打开VMware Workstation 15 Plyer,界面如下:二.相关设置1.点击创建新虚拟机,选择稍后安装操作系统,然后下一步,如下:2.客户机操作系统选择linux,版本选择centos7 64位,然后下一步,如下:3.修改虚拟机名称和文

2020-06-25 18:47:29 2463

原创 hadoop和hadoop集群在CentOS7系统下安装和配置

mapreduce.framework.name yarnhttps://www.cnblogs.com/zlslch/p/6418248.html

2020-06-24 10:39:48 7021

原创 正则表达式

文章目录一.正则表达式简介二.正则表达式语法三.java的正则表达式一.正则表达式简介正则表达式描述了一种字符串匹配的模式,也称规则表达式常用于检索,替换符合指定模式(规则)的文本大多数语言都支持正则表达式二.正则表达式语法正则表达式是由普通字符和特殊字符组成的字符串普通字符:原义字符和非打印字符非打印字符如下:字符说明\r匹配一个回车符\n匹配一个换行符\t匹配一个制表符\f匹配一个换页符特殊字符:元字符: * + ? $

2020-06-23 18:59:54 508 1

原创 Linux系统中的 Shell 编程

文章目录一.Shell Script 介绍1.概念2.应用场景3.demo:第一个Shell脚本test.sh二.变量1.变量的定义和使用1)demo012)demo02:整数表达式运算2.预定义变量3.位置变量三.数值关系运算符1.数值关系运算符2.逻辑运算符3.字符串运算符4.文件运算符(写在文件或目录前面)四.流程控制语句if语句:1.if语句:2.if-else语句:3.if-else-if语句:for循环:1.普通for循环:2.增强for循环:while循环:case语句:五.shell的函数

2020-06-22 17:30:05 4093 1

原创 基于TCP协议的网络编程之Socket(套接字)

文章目录一.什么是Socket?二.Socket通信模型三.Socket编程步骤客户端向服务端提交请求的交互过程四.demo:实现一个客户发出请求,服务端向客户端响应的交互过程1)服务器端:2)客户端:五.交互效果如下:一.什么是Socket?通信链路的端点就被称为套接字,英名文为’Socket’是提供给应用程序的接口,类似我们日常生活中的快递点Socket的底层机制比较复杂,java平台提供了一些简单的API,可更简单有效的使用Socket开发而无需了解底层机制所在包为java.net包中

2020-06-21 16:20:26 1055

原创 集合与IO流考试

一.题目要求一个文本文件test.txt(目录自定),数据内容为部分用户的银行卡消费记录,消费记录信息包含姓名 消费金额,找出消费次数最多的用户,并且该用户单笔消费最高的金额是多少,得出此信息并将信息写入到result.txt中?考试要求如下:1、要求读取文件test.txt(能正确读取15分)2、要求将文件中的内容按行存入到集合类中(成功存入30分)3、对集合类中的每一条记录进行分割,分别获取用户名,消费金额(20分)4、并在上一步基础上进行计数,获取消费次数最多的用户(20分)5、在上一

2020-06-20 16:41:54 887

原创 在linux系统下ELK集群的搭建

文章目录一.复制虚拟机(保证要复制的虚拟机处于关闭状态)二.原虚拟机和复制后的虚拟机之间配置免密登录三.配置elasticsearch集群1)原虚拟机配置修改2)复制后虚拟机配置修改3)测试集群一.复制虚拟机(保证要复制的虚拟机处于关闭状态)前情提要:在上次ELK环境配置基础上(链接如下),搭建ELK集群ELK环境搭配1.复制虚拟机–>选择专家模式,副本类型选择完全复制,备份选择当前虚拟电脑状态,勾选重新初始化所有网卡的MAC地址,如下图:2.修改静态ip地址,一般来说会与原虚拟机的ip

2020-06-19 10:53:30 2598

原创 在Linux系统中ELK的安装配置

文章目录一.ES简介二.ES安装前的准备工作:下载安装包三.ELK安装四.ELK的配置1)ES的配置2)Head-master及node的配置3)kibana安装一.ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点:高可用,高扩展,是一种NOSQL的数据存储工具二.ES安装前的准备工作:下载安装包链接: https://pan.baidu.com/s/1jcBPUedBon6s-k3N7SZ_vw 提取码: cr5j三.E

2020-06-18 16:43:47 631

原创 linux常用命令补充

文章目录一.变量声明与查看1)echo命令2)printenv二.计算文件的字数:wc命令三.搜索命令:grep四.file命令五.which命令六.ln命令七.find命令八.date命令九.ping命令十.scp命令十一.df -h命令一.变量声明与查看1.export在/etc/profile中配置的是全局变量(需要重启或者source使之生效)2.export在命令行或者在其他脚本中声明变量则是当前session有效且立即生效1)echo命令使用echo命令可以查看变量的值(需要知道具体

2020-06-18 11:37:02 474

原创 MySQL经典习题

文章目录一.请写出这5张表,你认为可行的建表语句(注:表中插入数据只是演示)二.查询1)查询“生物”课程比“物理”课程成绩高的所有学生的学号2)查询平均成绩大于60分的同学的学号和平均成绩3)查询所有同学的学号、姓名、选课数、总成绩4)查询姓“李”的老师的个数5)查询没学过“李平”老师课的同学的学号、姓名一.请写出这5张表,你认为可行的建表语句(注:表中插入数据只是演示)具体表结构如下:1)班级表:tb_classcidcname1KB012KB023K

2020-06-17 18:48:04 1649

原创 Linux远程连接和软件安装

Linux远程连接和软件安装linux远程连接简介SSH协议(Secure Shell):专为远程登录会话和其他网络服务提供安全性的协议,即在不同机器之间建立通信常用工具:Xmanager Securecrt Putty本文所用的工具:mobaXterm 优点:绿色免安装,使用便捷moba获取方式百度网盘链接:[moba](https://pan.baidu.com/s/1S1tZpCPj8eb7bCXZPiI-bQ) 提取码: hvhg...

2020-06-17 09:08:51 3589 1

原创 使用JDBC连接数据库演示

使用JDBC方式连接数据库前期准备使用工具 :IDEA mysql 所需的jar包:mysql-connecter步骤1.加载mysql驱动2.使用驱动管理器获取Connection连接3.使用连接创建sql语句管理器PreparedStatement4.执行相关语句 如果是查询语句,返回一个结果集 如果是增删改语句,会返回改变的行数5.释放相关资源相关代码如下package _0602.dao;import java.sql.*;/** * @author suny

2020-06-16 19:09:46 314

原创 使用Linux操作系统

Linux常用命令(使用系统:CentOS7)(一)linux文件系统目录名称+说明/ -->Linux系统根目录~ -->当前用户家目录/bin -->系统启动时需要的执行文件(二进制)/dev -->设备文件目录/etc -->操作系统的配置文件目录(防火墙、启动项)/home -->用户信息存放的目录,用户的默认工作目录/usr -->程序和数据存放目录/var

2020-06-16 12:27:30 415

原创 查询考勤记录

查询人员考勤记录需求:写一个查询语句,输入参数:日期(date),输出表格如下:注:1、2020-02-16李四派工期已结束,不在派工期间不需要计算考勤,故不用显示2、赵六在当日没有打卡,按照迟到算,迟到时间1440分钟代码部分#创建数据库CREATE DATABASE IF NOT EXISTS 0613_practice;#创建人员表CREATE TABLE IF NOT EXISTS workPlan( workerName VARCHAR(10) COMMENT '人员',

2020-06-15 21:41:07 951

原创 Linux系统安装和相关编程环境安装

一.安装Linux系统1.安装Oracle VM VitualBox,准备好linux光盘镜像2.点击新建3.设置名称内存分配4G以上,系统选择64位4.文件夹位置选择固态,分配30G以上5.进入设置常规 在高级里将共享粘贴板和拖放更改为双向系统 主板启动顺序设置为光驱硬盘和网络,不要软驱存储 分配光驱加载linux镜像网络 启用网络1和网络2 网络1选择仅主机网络 网卡2选择网络地址转换(NAT)6.启动Linux选择第一项直接安装设置时区,双网卡打开,自动分区begin insta

2020-06-15 21:30:19 2091 2

原创 java高级API复习

集合框架与泛型如果并不知道程序运行时会需要多少对象,或者需要更复杂方式存储对象——可以使用Java集合框架集合Collection的特点:无序,可重复列表List的特点:有序(插入顺序),可重复 ArrayList:是List的一个实现类,底层由数组构成 实现了长度可变的数组,在内存中分配连续的空间,遍历元素和随机访问元素的效率比较高 扩容数组时,新数组长度是原来的1.5倍 增:add(值),addAll(集合对象) 删:remove(下标),remove(值),removeA

2020-06-15 21:22:04 329

原创 Mysql数据库复习

数据库概念:长期存放在计算机内,有组织、可共享的大量数据的集合,是一个数据“仓库”作用:保存、管理数据关系型数据库(SQL)MySQL、Oracle、SQL Server、SQLite、DB2,Hive非关系型数据库(NOSQL)Redis、MongoDB,Hbase数据库管理系统(Database Management System)DBMS–>服务数据管理软件,科学组织和存储数据、高效地获取和维护数据DDL(数据定义语言) 定义和管理数据对象,如数据库,数据表等 CREATE、

2020-06-15 21:05:00 1169 1

原创 Java面向对象OOP复习

编程语言分类:低级语言:对机器:汇编,编译器高级语言:自带编译器 C语言-->面向过程的语言 Java-->面向对象 OOP面向对象编程/只懂技术-->IT民工 OOA面向对象分析方法/懂很多业务,了解一些技术-->市场人员,销售人员-(需求分析-->模具) OOD面向对象程序设计/主要懂技术,懂一些业务-->产品工程师,系统工程师,架构师 Python-->面向对象 diy-->手枪-->一整块木头刻出来(多个功能在一整块中

2020-06-15 20:52:10 252

原创 java基础语法复习

java基础语法复习jdk安装: Oracle官网下载直接安装环境配置: 电脑–>属性–>高级系统设置–>环境变量–>系统变量添加 1变量名:JAVA_HOME变量值:jdk安装路径2变量名:CLASSPATH变量值:.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;3修改系统变量PATH:添加%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin第一个Java程序: /*** * --&g

2020-06-15 20:31:23 486

原创 使用mybatis连接数据库并查询

图书管理类项目目的:展示所有图书(条件:图书名 借书人名 -->模糊查询)(一)数据库表结构分析和建表语句所用到的sql语句表结构图书表:bookId bookName price store des bookType借出表:borrowId uid bookId borrowDate 归还表:backId borrowId backDate delayMoney购买记录表:bookId buyID buyDate buyNum totalPrice用户表:userId userN

2020-06-15 19:52:56 1223

ip地址范围对应转换表

使用纯真工具下载最新ip地址转换 然后将txt文件上传到linux系统 导入spark中,使用spark连接mysql 将表保存到mysql中 然后将表导出sql脚本文件

2020-08-17

MobaXterm.11.0.zip

mobaXterm11.0版本 是一款小巧便捷的绿色软件 用于连接虚拟机,可用于本地和虚拟机之间数据传输

2020-06-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除