- 博客(37)
- 收藏
- 关注
RSS订阅原创 kafka--单机版安装配置,命令行操作
默认新开启的消费者不会接收生产者以前的消息,加上–from -beginning可以从头开始接受所有的消息。137 delete.topic.enable=true //设置可以对topic删除,默认不能删除。60 log.dirs=/opt/soft/kafka212/data //消息存放的目录。21 broker.id=0 //配置集群使用,单机版不用修改。再次查看消息队列,出现了刚创建的消息队列。将压缩包上传到/opt/install。启动kafka（静默启动）
2023-04-13 23:45:00
257
原创 HDFS和MapReduce工作原理
在溢写过程中， MapReduce 框架会对 key 进行排序，如果中间结果比较大，会形成多个溢写文件，最后的缓冲区数据也会全部溢写入磁盘形成一个溢写文件，如果是多个溢写文件，则最后合并所有的溢写文件为一个文件。格式化操作：将划分好的分片( split )格式化为键值对形式的数据，其中， key 代表偏移量， value 代表每一行内容。如果写人的数据达到内存缓冲的阈值( 80MB )，会启动一个线程将内存中的溢出数据写入磁盘，同时不影响 Map 中间结果继续写入缓冲区。
2023-02-07 18:53:43
366
原创 Hadoop命令学习
创建多级目录(建议使用这种方式创建目录)删除文件系统中对应目录中的所有文件。查看文件系统上的对应文件的内容。获取文件系统上的对应文件。删除文纪系统上的对应文件。
2023-02-07 18:53:40
71
原创 centos7hadoop安装配置
通过vim /etc/hosts配置其他计算机的ip以及主机名的映射,可以直接ping设置好的主机名。解压缩,将hadoop和jdk解压到soft目录,如果觉得解压完的文件名太长可以用mv修改。将54行修改为,其中jdk180是你解压出来的目录,上面我将其修改为了jdk180。vi编辑配置文件(可以在vm中的编辑中的虚拟网络编辑器查看DHCP和NAT设置)生成秘钥(注意是大写的P),运行后再次回车,生成秘钥。修改完后重启网络,ping百度,能ping通就行。查看是否刷新成功,能出现即成功。
2023-02-02 15:00:36
424
原创 mybatis安装配置和编程
以上就是今天要讲的内容，本文仅仅简单介绍了mybatis的配置和使用，mybatis几乎避免了所有的JDBC代码和手动设置参数以及获取返回结果。而且mybatis是基于SQL语句编程，相当灵活,代码量少,与JDBC相比，减少许多代码量，消除了大量的冗余的代码，也无需要手动开关连接。
2023-01-09 20:45:00
727
原创 JDBC学习
JDBC是java数据库连接技术(Java Database Connectivity),能实现java程序对各种数据库的访问。JDBC由一组使用java语言编写的类和接口(JDBC API)组成,它们位于java.sql和jkavax.sql中。2.DiverManager获取Connection对象。3.创建Statement执行SQL语句。1.Class.forName加载驱动。4.返回resultset查询结果。
2023-01-02 20:00:00
74
原创 oracle简单函数
字符串截取 第一个数字是数字截取位(注意下标从1开始,与java区别) ,第二个数字是截取位数。–如果转后的字符串小数部分少于原有的位数,进行四舍五入,如果整数部分少于原有位数,则乱码。查找字符串第一次出现指定字符或字符串的下标位置,可以指定范围,没有返回0。将其他数据类型转换为字符串,可以是数值类型,也可以是日期时间类型。判断数值正负或0,整数返回1,负数返回-1,0返回0。使用指定的字符在字符的左边(右边)填充。返回字符串的首字母大写格式。返回字符串的大写格式。返回字符串的小写格式。
2022-12-14 21:40:57
185
原创 oracle数据类型、序列
用于定义日期时间类型的数据，其数据长度为固定7个字节，分别描述：年、月、日、时、分、秒。DATETIME 需要使用外部传入的日期，如果没传这个值就是 NULL。序列是 Oracle 提供的用于产生一系列 唯一数字 的数据库对象。TIMESTAMP 会使用系统当前的时间作为这个值的默认值。创建从5开始醉倒到100的序列,超出最大值后无法创建。scale：指定小数点后的数字位数。创建以等差数列累加的序列,每次加3。都是既有日期又有时间的日期类型。创建从100开始的序列,每次加1。DATE 日期型数据。
2022-12-14 21:40:47
180
原创 oracle常见问题、了解知识点及简单命令学习
你进入linux系统的用户也就是进入操作系统的用户，例如是gooooal，它在你的ora_dba组中。也就是在conn /as sysdba，oracle会进行操作系统验证，发现你当前登录的用户就属于ora_dba组，因此才可以登录成功。普通用户的权限是SYS用户或SYSTEM用户给的，如果没有给，那普通用户连很基本的访问权限，连接权限也没有。具有创建数据库的权限。4 其实在linux或unix环境下，安装oracle是要设置很多东西的，比如用户和用户组的设置等，不像在windows下，安装傻瓜化了。
2022-12-13 20:36:26
449
原创 dql学习2
dql学习2连接查询内连接(等值和非等值的连接查询,自身连接查询) (连表默认用内连接)外连接(左外连接,右外链接)创建两表,设置数据内连接结果:自连接order by排序对select 语句查询得到的结果,按某些字段进行排序与desc(降序)或asc(升序)配合使用,不写默认升序连接查询并排序limit(分页查询)limit [m],n 或者 limit n offset m查询前五条数据从下标为6的数据开始查询3条每页n条信息,查询第m页(分页公
2022-12-06 19:59:32
192
原创 SQL语句ddl dml学习
alter table 要修改的表名 change 要修改的字段 字段类型 …create database if not exists 数据库名;alter table 要修改的表名 drop 要删除的列(字段名);drop database if not exists 数据库名;alter table 旧表名 rename as 新表名;insert into 表名(字段) values(值);drop table if exists 表名;primary key 主键。drop table 表名;
2022-12-02 20:00:00
275
原创 java正则表达式学习
所以，在其他的语言中（如 Perl），一个反斜杠 \ 就足以具有转义的作用，而在 Java 中正则表达式中则需要有两个反斜杠才能被解析为其他语言中的转义作用。字符串也可以看做简单的正则表达式,例如this is text 正则表达式就匹配"this is text"字符串。在其他语言中，\ 表示：我想要在正则表达式中插入一个普通的（字面上的）反斜杠，请不要给它任何特殊的意义。在 Java 中，\ 表示：我要插入一个正则表达式的反斜线，所以其后的字符具有特殊的意义。正则表达式定义了字符串的模式。
2022-11-29 22:00:00
126
原创 磁盘管理内容
磁盘:盘片,磁头,主轴,空气滤纸,永磁体/dev/存储设备的目录 sda1 中, sd 表示设备名称 a是指磁盘的序号,1是分区号主分区:1-4逻辑分区: 一定是创建在扩展分区中的,序号从5开始。
2022-11-28 20:00:00
195
原创 进程与计划任务管理
STAT:该进程的状态(D:不可中断的休眠状态,R:正在运行状态,S:处于休眠状态,可被唤醒,T:状停止状态,可能实在后台暂停或进程处于跟踪调试状态,Z:僵尸进程,进程以经停止,但是部分程序还在内存中)结束运行:子进程先结束------>父进程收回子进程的资源之后,父进程才会终止。每小时的第20分钟执行----------------20 * * * *每两分钟执行 -------------- */2 * * * *父进程先启动---------->子进程。RSS:该进程占用的物理内存量(kb)
2022-11-26 20:00:00
46
原创 sed工具学习
1.sed是一种流编辑器,读取文件会进行祖行读取加上指令操作,所以过大的文件一定要拆分后在交给sed处理2.sed -r 搭配扩展正则表达式使用,使用 {n} {n,} {n,m} 不需要加""3.用 -i 时一定要先备份(尤其对重要文件的操作),或者事先试验好确定无误是,在使用 -i4.sed 命令的重点在于增删改查四个功能,可以运用在脚本中对重要文件配置的修改,添加等作用尤其有效。
2022-11-25 21:00:00
127
原创 linux学习 用户账号 ssh scp
主要内容:用户分类,uid与gid,添加用户并修改用户密码,设置文件和目录的权限,改变文件目录的属主与数组,ssh远程操控与scp传输文件或目录
2022-11-24 19:19:12
527
1原创 java线程笔记
线程是程序中的执行线程。Java 虚拟机允许应用程序并发地运行多个执行线程。每个线程都有一个优先级，高优先级线程的执行优先于低优先级线程。在java中线程的优先级默认为5(1-10内)Thread类在java.lang包中,在java中所有的线程都是Thread类或者其子类的实例。
2022-11-13 12:28:10
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人