- 博客(46)
- 收藏
- 关注
原创 flume安装
进入/opt/moudle/apache-flume-1.9.0-bin/bin执行。进入/opt/moudle/apache-flume-1.9.0-bin/conf。安装之前要先注意一下版本兼容,就是jdk的版本与flume的版本。然后找到# export JAVA_HOME=这一行。然后解压到一个目录,以/opt/moudle为例。下载flume压缩包。
2023-10-08 15:12:54
223
原创 windows更新永久暂停
2.打开注册表的这个路径:计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsUpdate\UX\Settings右键空白地方新建QWORD值命名为:FlightSettingsMaxPauseDays 3.双击FlightSettingsMaxPauseDays,修改里面的值为100000,右边基数设置为十进制
2023-08-04 15:50:04
43143
61
原创 windows美化任务栏,不使用软件
(5).双击 TaskbarAcrylicOpacity 打开设置值为 0 ,基数 十进制。(6).右键任务栏打开任务管理器,右键windows资源管理器,重新启动服务。(4).右键任务栏把"显示文本"和"显示标题"两个选项取消勾选。(3).拖动这两个"||",到合适位置,或者只拖动右边那个。(3).在空白处右键->新建->DWORD(32)值。(2).任务栏右键新建一个工具栏,选择刚才创建的文件夹。(5).再右键任务栏"锁定任务栏"就ok了。(1).win+r打开命令行。(2).在注册表中打开。
2023-08-02 16:35:59
1021
3
转载 mysql 8.0.32 window安装
本教程详细指导如何在Win10系统下安装部署最新版MySQL-8.0.32。【MySQL系列安装部署教程】Docker安装最新版MySQL5.7(mysql-5.7.40)教程(参考Docker Hub)写最好的Docker安装最新版MySQL8(mysql-8.0.31)教程(参考Docker Hub和MySQL官方文档)最新MySQL-5.7.40在云服务器Centos7.9安装部署下载和安装MySQL官方提供的示例数据库(Employees)
2023-07-31 10:42:18
441
原创 idea方法注释模板
设置完成后 在方法上一行输入 /** 回车 就可以自动生成。选中刚才创建的在新建live template。创建一个templat group。这段代码粘贴到上面第3步。
2023-07-03 10:26:22
233
原创 window中文输入英文符号
windows10输入法,已经设置 "中文输入时使用英文标点" 但中文输入时还是输入中文的标点符号.或者不小心切换到了五笔再切换回拼音的时候, "中文输入时使用英文标点" 失效了.
2023-05-19 09:54:09
1051
原创 linux安装ipython
CondaHTTPError: HTTP 000 CONNECTION FAILED for url Elapsed: -An HTTP error occurred when trying将ssl_verify:true改成false。把镜像路径的https改为http。找到" .condarc "文件。这个文件在/home/用户目录下。
2023-05-15 15:37:09
267
原创 linux安装jupyter notebook
使用miniconda的conda安装jupyter notebook配置文件jupyter_notebook_config.py,这个文件在用户的家目录下的.jupyter目录里jupyter notebook打不开删除conda镜像源
2023-05-15 15:11:14
744
原创 linux三剑客 grep;awk;sed
grep,sed和awk都是读一行处理一行,直到处理完成。用于文本处理的流编辑器,加上正则表达式的支持,可以进行大量的复杂的文本编辑操作。
2023-04-19 16:44:27
459
原创 linux cut 与 sort
用法:cut [选项]... [文件]...-b, --bytes=列表 只选中指定的这些字节-c, --characters=列表 只选中指定的这些字符-d, --delimiter=分界符 使用指定分界符代替制表符作为区域分界--complement 补全选中的字节、字符或域-s, --only-delimited 不打印没有包含分界符的行。
2023-04-19 12:05:06
219
3
转载 java数组集合转换
Java中List、Integer[]、int[] 的相互转换int[] 转 Listint[] 转 Integer[]List 转 Integer[]List 转 int[]Integer[] 转 int[]Integer[] 转 List
2023-04-12 16:11:32
185
原创 shell 获取参数
2.可以使用$n,引用用户输入的参数(当n>=10时要用{}括起来,如:${n})3.可以使用read请求用户输入。1.可以直接引用环境变量。
2023-04-10 16:03:02
1560
原创 shell整形计算浮点型运算
4.let命令:和双小括号 (( )) 一样,let 命令也只能进行整数运算,不能对小数(浮点数)或者字符串进行运算。注意:对于类似let x+y这样的写法,Shell 虽然计算了 x+y 的值,但却将结果丢弃;若不想这样,可以使用将 x+y 的结果保存在变量 sum 中。test命令的参数:="
2023-04-10 13:50:28
371
原创 shell编程的基础
引入一个环境变量/定义一个环境变量export JAVA_HOME=/opt/install/jdk。定义用户变量: name='zhangsan' age=10 salary=100000。$@ 输入的所有参数以字符串数组的形式["1","2","3","4"]$* 输入的所有参数以字符串的形式展示"1 2 3 4"HISTSIZE 历史命令条数。HOME 当前用户家目录。LOGNAME 当前用户。$# 输入的参数的个数。$$ 当前程序的pid。$0 当前运行的程序。set 当前用户变量。
2023-04-03 15:51:54
155
原创 Linux安装MySQL
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)ERROR 1290 (HY000): The MySQL server is running with the --skip-gran
2023-03-29 10:34:46
161
原创 rpm安装卸载
rpm -qa [软件] 查看软件rpm -ql [软件包] 以列表形式查看软件包的文件目录rpm -qi [软件包] 查看软件包的详细信息rpm -qf [文件路径] 查看文件属于哪个软件包rpm -e [软件包] 卸载软件包(如果相应的安装目录没有删除,需要手动删除)yum -erase [软件包] 卸载软件包(如果相应的安装目录没有删除,需要手动删除)
2023-03-27 17:22:30
1029
原创 mysql随机密码没有生成
mysql随机密码有可能不会生成解决办法目前只知道:一种方法重新安装1.先查看有没有mysql[shuqiq@hadoop102 桌面]# rpm -qa|grep mysql2.再看看mysql的路径[shuqiq@hadoop102 桌面]# twhich mysql3.先删除mysql[shuqiq@hadoop102 桌面]# rpm -e(mysql名字)4.删除第二步找到的目录特别要删除rm -rf /var/lib/mysql 该目录再重.
2022-02-24 17:06:59
1188
原创 Hive安装部署
Hive安装地址下载地址http://archive.apache.org/dist/hive/mysql 没有生成随机密码解决办法目前只知道:
2022-02-24 16:48:39
185
原创 scala运行时报错
Terminal initialization failed; falling back to unsupportedjava.lang.NoClassDefFoundError: Could not initialize class scala.tools.fusesource_embedded.jansi.internal.Kernel32 at scala.tools.fusesource_embedded.jansi.internal.WindowsSupport.getConsol...
2021-12-15 15:49:58
1072
原创 zookeeper 命令行操作
命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前znode中所包含的内容 ls2 path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建 -s 含有序列 -e 临时(重启或者超时消失) ...
2021-12-15 12:22:02
369
原创 linux操作命令
//添加用户useradd用户名//指定或者修改密码passwd密码//删除用户userdel 用户名//切换用户su 用户名//查看当前用户/登录用户whoami/ who am I//新增用户组groupadd 组名 //增加用户时直接加上组useradd –g 用户组 用户名//删除组groupdel 组名//修改用户的组usermod –g 新的组名 用户名//help指令h...
2021-12-15 12:21:11
1227
原创 SQL执行顺序与书写顺序
书写顺序 select[distinct] from join(如left join) on where group by having union order by limit 执行顺序mysql执行sql的顺序从 From 开始,以下是执行的顺序流程1、FROMtable1 left join table2 on 将table1和table2中的数据产生笛卡尔集生成vt12、JOINta...
2021-12-09 11:57:26
492
原创 使用线程池的好处
使用线程池的好处池化技术应用:线程池、数据库连接池、http连接池等等。池化技术的思想主要是为了减少每次获取资源的消耗,提高对资源的利用率。线程池提供了一种限制、管理资源的策略。每个线程池还维护一些基本统计信息,例如已完成任务的数量。使用线程池的好处: 降低资源消耗:通过重复利用已创建的线程降低线程创建和销毁造成的消耗。 提高响应速度:当任务到达时,可以不需要等待线程创建就能立即执行。 提高线程的可管理性:线程是稀缺资源,如果无限制的创建,不仅会消耗系统资源,还会.
2021-12-09 11:43:13
221
原创 mapreducer工作机制
MapTask工作机制(1)Read阶段:MapTask通过用户编写的RecordReader,从输入InputSplit中解析出一个个key/value。(2)Map阶段:该节点主要是将解析出的key/value交给用户编写map()函数处理,并产生一系列新的key/value。(3)Collect收集阶段:在用户编写map()函数中,当数据处理完成后,一般会调用OutputCollector.collect()输出结果。在该函数内部,它会将生成的key/value分区(调用Partitio.
2021-12-09 11:42:32
123
原创 HDFS读写数据流程
1)客户端向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。2)namenode返回是否可以上传。3)客户端请求第一个 block上传到哪几个datanode服务器上。4)namenode返回3个datanode节点,分别为dn1、dn2、dn3。5)客户端请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成6)dn1、dn2、dn3逐级应答客户端7)客户端开始往dn1上传第一个block(先从磁盘..
2021-12-09 11:33:04
97
原创 HDFS-HA集群
HDFS-HA自动故障转移工作机制HA的自动故障转移依赖于ZooKeeper的以下功能:1)故障检测:集群中的每个NameNode在ZooKeeper中维护了一个持久会话,如果机器崩溃,ZooKeeper中的会话将终止,ZooKeeper通知另一个NameNode需要触发故障转移。2)现役NameNode选择:ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃,另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该..
2021-12-09 11:31:10
848
原创 DataNode工作机制
1)一个数据块在datanode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2)DataNode启动后向namenode注册,通过后,周期性(1小时)的向namenode上报所有的块信息。3)心跳是每3秒一次,心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器,或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳,则认为该节点不可用。4)集群运行中可以安全加入和退出一些机器..
2021-12-09 11:26:48
1256
原创 NameNode&Secondary NameNode工作机制
思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦NameNode节点断电,就会产生数据丢失。
2021-12-09 11:20:51
173
原创 监听器原理
1.首先有一个main()线程2.在main线程中创建Zookeeper客户端,这时就会创建两个线程,一个负责网络连接通信(connet) ,一个负责监听(listener)。3.通过conmect线程将注册的监听事件发送给Zookeeper。4.在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。5.Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。6.listener线程内部调用了process(方法。...
2021-12-08 09:18:46
1666
原创 MapReducer 报错 类转换异常
Caused by: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :class
2021-11-29 10:13:05
209
原创 MapReducer Mapper阶段出现异常
java.lang.Exception: java.lang.NumberFormatException: empty String at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462) at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)Caused by: java.lang.Num
2021-11-29 09:23:30
1019
原创 MySQL服务不见了
进入管理员cmd界面进入mysql安装的bin目录cd C:\Program Files\MySQL\MySQL Server 5.5\bin先安装一下服务mysqld.exe -install然后再运行mysqlmysql -uroot -p密码如果报错ERROR 1045 (28000): Access denied for user ‘ODBC’@‘localhost’ (using password: YES)那么可能是你忘了自己的密码了...
2021-11-25 10:34:43
438
原创 zookeeper启动问题
先确认zoo.cfg文件中的配置id与myid是不是一致server.A=B:C:DA是一个数字,表示这个是第几号服务器;集群模式下配置一个文件myid,这个文件在dataDir目录下,这个文件里面有一个数据就是A的值,Zookeeper启动时读取此文件,拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。B是这个服务器的ip地址;C是这个服务器与集群中的Leader服务器交换信息的端口;D是万一集群中的Leader服务器挂了,需要一个端口来重新进行选举.
2021-11-16 10:28:05
225
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人