- 博客(54)
- 收藏
- 关注
RSS订阅原创 RDD五大特性图解
这里进行举例的是 WordCount代码代码如下：import scala.io.Sourceobject Demo24WordCount { def main(args: Array[String]): Unit = { //1、读取文件 val lines: List[String] = Source .fromFile("data/words.txt") //读取文件 .getLines() //获取所有行 .toList //转
2022-05-18 14:33:20
251
原创 MapReduce图解（流程）
注：这里面一共拥有着4个maptask和3个reducetask这里的task在本质上是一个线程对象map端：1.进行文件进行切片，默认一个block对应一个切片（一个block大小默认为128M）一个切片是由一个maptask处理的2.执行自定义的map端的代码逻辑3.将数据写入到内存环形缓冲区，默认大小为100M，当写到80M时开始溢写到磁盘中4.对数据做分区和排序，这里的分区指的是hash分区，快速排序5.合并多个小文件，并且进行归并排序。reduce端：...
2022-05-18 09:51:10
729
原创 Scala运用（学生，分数表）
数据样例（部分）学生表：1500100001,施笑槐,22,女,文科六班1500100002,吕金鹏,24,男,文科六班1500100003,单乐蕊,22,女,理科六班1500100004,葛德曜,24,男,理科三班1500100005,宣谷芹,22,女,理科五班1500100006,边昂雄,21,男,理科二班1500100007,尚孤风,23,女,文科六班1500100008,符半双,22,女,理科六班1500100009,沈德昌,21,男,理科一班1500100010,羿彦昌
2022-05-15 19:19:11
1268
原创 Scala(1)
Scala语言运行原理：在Java里如何去使用Scala语言编程：创建maven项目加入 <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version&.
2022-05-11 09:18:49
116
原创 Hbase安装
前提：Hadoop和zookeeper已经安装完成并且可以正常使用1、启动hadoopstart-all.sh验证http://master:500702、启动zookeeper需要在在三台中分别启动zkServer.sh startzkServer.sh status//要有一台查看有leader搭建hbase1、上传解压配置环境变量tar -xvf hbase-1.4.6-bin.tar.gz2、修改hbase-env.sh文件这里实在conf目录下
2022-05-06 20:11:12
680
原创 Hive第三天
1. 后台启动HIVE的JDBC连接（就是可以把启动jdbc的页面可以关闭并且jdbc连接不会断开） 0 表示标准输入 1 表示标准输出 2 表示标准错误输出 nohup 表示挂起 最后的 & 表示 后台启动 nohup hive -service hiveserver2 > /usr/local/soft/hive-3.1.2/log/hiveserver2.log 2>&1 & jps 查看 Runjob...
2022-04-14 20:21:58
1832
原创 Hive第二天
一、开启HIVE中分区表支持中文字段 1.根据HIVE开启分区支持中文.txt中的操作步骤去MySQL中执行，修改HIVE元数据库中的编码格式 2. 插入数据 INSERT INTO TABLE filetest.partition_student PARTITION(gender="女生") SELECT "1500100002","吕金鹏",24,"文科六班"二、分区表操作 特点： 1.分区表与其他表不同点在于，分区字段的值为表目录下的子目...
2022-04-13 11:01:05
199
原创 Hive第一天
测试几种存储格式：1. mkdir /usr/local/soft/hive-3.1.2/data/2. 上传数据至data目录中3.创建TEXTFILE学生信息表create table students( id bigint comment '学生id', name string comment '学生姓名', age int comment '学生年龄', gender string comment '学生性别', clazz string comment ...
2022-04-11 19:12:41
397
原创 Hive安装
安装Hive前提：安装完成MySQL安装步骤如下：4、安装mysql5.7下载yum Repositorywget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm安装yum Repositoryyum -y install mysql57-community-release-el7-10.noarch.rpm安装mysql5.7yum -y install mysql-c
2022-04-11 19:11:00
120
原创 Hadoop第二天
一个简单地Wordcount例子在wordcount.txt写入Spark Hadoop JAVA Python Spark Hadoop HIVEWordCountMapperpackage Mapreducer.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Te...
2022-04-06 23:02:02
2031
原创 Hadoop大体介绍
Hadoop 三种运行模式：1.本地模式(学习)1.没有HDFS,使用当前系统下的文件系统2.没有YARN,使用的是Linux中的资源3.使用了 Map-Reduce Framework2.伪分布式模式(学习)1.只有单台机器2.使用HDFS、Yarn、MapReduce3.分布式模式(企业级)1.多台服务器2.集群模式，包含整个Hadoop组件HDFS SHELL:1.两种命令模式1.1 hadoop fs1.2 hdfs dfs2.上传文件
2022-04-06 21:22:08
56
原创 Hadoop第一天
安装Hadoop1、关闭防火墙 所有节点 并设置映射service iptables stopchkconfig iptables off2、设置免密钥在master中生成密钥文件ssh-keygen -t rsa一直回车将密钥文件同步到所有节点ssh-copy-id masterssh-copy-id node1ssh-copy-id node23、上传hadoop安装包 上传到msater的/usr/local/soft/hadoop-2.7.6.ta
2022-04-01 19:26:31
2146
原创 Python第一天
# 注释# 单行注释''' 多行注释 多行注释 多行注释'''""" 多行注释 多行注释 多行注释"""# 变量# 命名''' 变量的定义要求: 1.命名要求： 字母、数字、下划线 2.注意: (1)数字不能作为开头 (2) 不能以关键字作为变量名'''i = 'hello world'print(i)# 关键字import keywordprint(k.
2022-03-24 19:24:49
1194
原创 Redis第三天集群搭建
1、创建安装目录 在master ,node1 ,node2中分别创建mkdir /usr/local/soft/redis-cluster2、将redis 复制到redis-cluster 目录下修改名字为7000复制前删除单机版缓存文件rm -rf appendonly.aof rm -rf dump.rdbcp -r /usr/local/soft/redis /usr/local/soft/redis-clustermv /usr/local/soft/red..
2022-03-24 19:20:50
51
原创 Redis第二天
Java操作Redis导入依赖<!-- https://mvnrepository.com/artifact/redis.clients/jedis --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version..
2022-03-24 19:19:13
51
原创 Redis第一天
插入数据set key value [EX seconds|PX milliseconds|EXAT timestamp|PXAT milliseconds-timestamp] [NX|XX]EX:多少秒后过期消失PX:多少毫秒后过期消失EXAT:指定时间戳过期PXAT指定毫秒时间戳过期NX:不存在 再执行XX:存在 再执行注意: set插入数据 如果k存在会覆盖TTL生存时间查询生存时间TTL key注意:-1表示没有设置生存时间-2设置..
2022-03-20 16:03:40
867
原创 Redis安装
这是在Linux中进行的1. 配置阿里云yum源下载配置文件wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo生成缓存yum makecache2、上传并解压tar -zxvf redis-6.2.6.tar.gz -C /usr/local/soft/3、安装编译所需的依赖yum install -y gcc-c++ gcc tc
2022-03-20 16:02:49
50
原创 MYSQL第四天(4)
where 和 havingwhere和having都是用做筛选where:处理元数据(from读取的数据)having:对from读取数据的处理结果进行再次筛选where->group by ->havingselect *,age-18 as c from student where c>2; # 报错select *,age-18 as c from student having c>2; # 正确select sex,count(*..
2022-03-20 15:51:35
41
原创 MYSQL第五天(5)
索引提高查询效率每个字段都可以加索引给经常做查询的字段加索引主键默认包含索引alter table 表名 add index 索引名称(字段)alter table student add index nameindex(name);alter table student drop index nameindex;事务mysql批处理 执行一批SQL语句 原子性的 不可再分割 要成功 都成功 要失败都失败sql的执行每一条都是独立的事务可以对于多张表进行同..
2022-03-20 15:49:59
60
原创 第三天MySql(3)
MYSQL第三天时间函数获取时间 获取年月日 获取时分秒 获取年月日时分秒-- 获取所有 select CURRENT_TIMESTAMP(); select CURRENT_TIMESTAMP; -- 获取年月日 select CURRENT_DATE(); select CURRENT_DATE; -- 获取时分秒 SELECT CURRENT_TIME(); SELECT CURRENT_TIME;时间和varchar相互转换时间转str -- SELECT CURRENT_Dat
2022-03-10 21:56:44
659
原创 第二天MySql（2）
MYSQL第二天alter修改的作用 修改库 修改表 修改字段修改库的编码集alter database shujia character set utf8修改表的编码集alter table students character set utf8修改表名alter table student rename to students修改字段:change(字段一旦包含数据:类型的变化)能修改字段的所有内容:可以修改成新的 也可以在原字段上修改# 修改成一个新的字段
2022-03-10 21:55:47
34
原创 第一天MySql(1)
安装MySql启动防火墙systemctl start firewalld.service2、修改主机名第一种hostnamectl set-hostname base第二种vim /etc/hostname查看主机名hostnamectl status3、修改ip地址vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=no
2022-03-08 09:48:13
261
原创 Linux学习第五天shell脚本（下）
数组:存储多个元素,数据类型可以不同,元素元素之间以空格切分操作通过下标获取数据格式:${数组[下标]}注意:直接引用数组变量,默认获取下标为0的元素下标使用*表示获取所有${数组[*]}获取长度:格式:${#数组[*]}修改：数组[下标]=用来替换的数read:键盘录入格式:read 变量1 变量2 ...变量n注意:键盘录入时,允许给多个变量进行赋值,值和值之间以空格切分打印三角形for i in {1..5}dof
2022-03-06 21:07:05
41
原创 Linux学习第四天shell脚本（中）
比较运算符: > < >=格式:$[值符号值](符号两边空格加不加无所谓)注意:比较的结果用1(true)和0(false)表示逻辑运算符: &/and |/or !/not例如:#判断2>1结果echo $[2 > 1]#反转2>1结果echo $[!$[2>1]]# 反转后面的结果2>1 and 2>3 false0echo $[!$[$[2>1]&$[2>3]]]echo
2022-03-04 21:19:08
96
原创 第三天shell脚本（上）
shell操作linux的桥梁创建:后缀为.sh的文件编写:头部注释为#!/bin/sh或者#!/bin/bash(注释可写可不写,建议写上)运行:1.通过sh命令执行例如:sh helloworld.sh2.通过bash命令执行例如:bash helloworld.sh3.通过把文件修改为可执行的文件然后通过./文件命令.sh来执行例如:./helloworld.sh(必须在当前目录下)变量(动态数据类型,没有数据类型的限制,并且必须初始化)定义和初始化
2022-03-03 21:27:56
40
原创 Linux学习第二天基本操作命令
安装VmWare注意事项1.是否启动虚拟化服务2.安装之后是否出现虚拟网卡虚拟化服务禁用如何开启win10系统->更新和安全->恢复->高级启动->疑难解答->高级选项->UEFI 固件启动->(有的电脑直接进入BOIS命令,有的电脑需要手动选择BOIS)->虚拟化服务->开启->保存退出安装之后没有出现虚拟网卡1.卸载重装2.下载CCleanr软件,扫描清理注册表安装Linux之后VMnet8网络不匹配还原默认
2022-03-03 21:27:25
69
原创 Linux学习第一天安装VMware与创建虚拟机
基础配置1、关闭防火墙systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动查看防火墙状态firewall-cmd --statesystemctl status firewalld.service启动防火墙systemctl start firewalld.service2、修改主机名第一种hostnamectl set-hos
2022-03-03 21:26:54
60
原创 Linux学习第一天安装VMware与创建虚拟机
基础配置1、关闭防火墙systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动查看防火墙状态firewall-cmd --statesystemctl status firewalld.service启动防火墙systemctl start firewalld.service2、修改主机名第一种hostnamectl set-hos
2022-02-27 09:54:23
80
原创 第二十六天网络编程
网络编程的三要素：1、IP地址2、端口号3、协议举例：假设王看上了一个女生，想要去表白。1、要去找到这个女生 -- IP地址2、对Ta表白，跟Ta说话，对着耳朵说话 -- 端口号3、要说什么呢？“I Love You”但是呢，这个女生没有学过英文，听不懂他就没有必要说英文，说她能听懂的语言，说汉语就可以，说“我爱你” -- 协议IP地址：网络中计算机唯一标识但是呢，我们计算机只能识别二进制的数据，所以我们想IP地址在计算机中存储的时候应该也是由二进制的形式
2022-02-27 09:53:23
506
原创 第二十五天多线程（下）
同步的好处：解决了多线程的安全问题同步的弊端： 加了一个同步代码块后，就相当于加了一把锁，每次进入同步代码块的时候都会去判断一下 无形之中，降低了我们执行效率。 Runnablepublic class TicketWindow1 implements Runnable { private int ticket = 100; Object object = new Object(); @Override public void run() {
2022-02-27 09:48:47
52
原创 第二十四天多线程（上）
进程：正在运行的程序，是系统进行资源分配和调用的独立单位。每一个进程都有它自己的内存空间和资源。线程：是进程的单个顺序控制流，或者说就是一个单独执行的路径一个进程如果只有一条执行路径，称之为单线程一个进程如果有多条执行路径，称之为多线程线程是包含在进程中。 举例：扫雷，360杀毒软件，百度网盘了解三个关键词：1、串行，指的是一个程序中所有的任务都是按照先后顺序执行的，在前一个任务还没有处理完的情况下，是不会进行处理下一个任务的举例：理发店只有一个理发师，很多人去理发，..
2022-02-27 09:34:15
57
原创 第二十三天IO流（下）
IO:指的是设备之间进行数据传入的流按照流向分类：输入流输出流按照数据类型分类：字节流A:字节输入流 InputStreamFileInputStream:FileInputStream fis = new FileInputStream("读取数据的文件名");字节缓冲输入流：BufferedInputStreamBufferedInputStream bis = new BufferedInputStream(new FileInputStream("读取数据的文
2022-02-23 20:12:44
88
原创 第二十二天文件和Io流上
File：是java对于文件和文件夹抽象表现形式构造方法：public File(String pathname)通过将给定的路径名字符串转换为抽象路径名来创建新的File实例。 如果给定的字符串是空字符串，则结果是空的抽象路径名。public File(String parent,String child)从父路径名字符串和子路径名字符串创建新的File实例。public File(File parent,String child)从父抽象路径名和子路径名字符串创建新的File
2022-02-23 19:57:46
52
原创 第二十一天异常
使用List和Map存放多个图书信息，遍历并输出。其中商品属性：编号，名称，单价，出版社；使用商品编号作为Map中的key。Goods类public class Goods { private String id; private String name; private int price; private String press; public Goods() { } public Goods(String id, String
2022-02-20 16:40:41
379
原创 第二十天集合完结
Collection 接口 集合顶层接口--List元素允许重复，是有序的（存储和取出顺序一致），拥有下标索引的特点--ArrayList底层数据结构是数组，查询快，增删慢线程不安全的，效率高--Vector底层数据结构是数组，查询快，增删慢线程是安全的，效率低 （即使是线程安全的，我们将来不会去使用，因为有更好的去替代）用Collections中带synchronized方法将不安全的集合转成安全的集合--LinkedList底层数据结构是双链表，查询慢，增删快
2022-02-15 22:58:53
459
原创 第十九天集合（下）
泛型通配符任意类型，如果没有明确，那么就是Object以及任意的Java类了? extends E向下限定，E及其子类? super E向上限定，E及其父类父类Animalpublic class Animal {}子类Dogpublic class Dog extends Animal {}子类Catpublic class Cat extends Animal {}import java.util.ArrayList;public c
2022-02-15 22:41:17
270
原创 第十八天集合（中）
需求：使用ArrayList存储字符串并遍历（如果字符串有重复的需要去除）import java.util.ArrayList;import java.util.Iterator;public class ArrayListDemo1 { public static void main(String[] args) { //创建集合对象 ArrayList list = new ArrayList(); //向集合中添加字符串元素
2022-02-15 22:24:25
41
原创 第十七天集合(上)
需求：利用数组存储3个学生信息，遍历数组获取到每一个学生信息public class Student { private String name; private int age;public Student(){} public Student(String name, int age) { this.name = name; this.age = age; } public String getName() {...
2022-02-14 20:57:56
47
原创 第十五天常用类StringBuffer
StringBuffer的特点：1、线程安全的不安全，就是存在同步操作同一数据的行为，效率高。安全的时候，没有同步操作，效率低。在实际开发中，效率和安全着两个问题一直都是很难平衡的问题。生活中的例子：线程安全的例子：银行的一些业务，电影院卖票，医院取号。线程不安全的例子：视频会员，博客评论2、线程安全的，StringBuffer是一个可变序列3、StringBuffer又称之为字符串缓冲区，就把它当作一个字符串去操作，只不过它与String相比是可以修改内容的4、在任
2022-01-23 19:16:23
60
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人