- 博客(46)
- 收藏
- 关注
RSS订阅原创 flume安装
进入/opt/moudle/apache-flume-1.9.0-bin/bin执行。进入/opt/moudle/apache-flume-1.9.0-bin/conf。安装之前要先注意一下版本兼容,就是jdk的版本与flume的版本。然后找到# export JAVA_HOME=这一行。然后解压到一个目录,以/opt/moudle为例。下载flume压缩包。
2023-10-08 15:12:54
223
原创 windows更新永久暂停
2.打开注册表的这个路径:计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\WindowsUpdate\UX\Settings右键空白地方新建QWORD值命名为:FlightSettingsMaxPauseDays 3.双击FlightSettingsMaxPauseDays,修改里面的值为100000,右边基数设置为十进制
2023-08-04 15:50:04
43143
61
原创 windows美化任务栏,不使用软件
(5).双击 TaskbarAcrylicOpacity 打开设置值为 0 ,基数 十进制。(6).右键任务栏打开任务管理器,右键windows资源管理器,重新启动服务。(4).右键任务栏把"显示文本"和"显示标题"两个选项取消勾选。(3).拖动这两个"||",到合适位置,或者只拖动右边那个。(3).在空白处右键->新建->DWORD(32)值。(2).任务栏右键新建一个工具栏,选择刚才创建的文件夹。(5).再右键任务栏"锁定任务栏"就ok了。(1).win+r打开命令行。(2).在注册表中打开。
2023-08-02 16:35:59
1021
3
转载 mysql 8.0.32 window安装
本教程详细指导如何在Win10系统下安装部署最新版MySQL-8.0.32。【MySQL系列安装部署教程】Docker安装最新版MySQL5.7（mysql-5.7.40）教程（参考Docker Hub）写最好的Docker安装最新版MySQL8（mysql-8.0.31）教程（参考Docker Hub和MySQL官方文档）最新MySQL-5.7.40在云服务器Centos7.9安装部署下载和安装MySQL官方提供的示例数据库（Employees）
2023-07-31 10:42:18
441
原创 idea方法注释模板
设置完成后 在方法上一行输入 /** 回车 就可以自动生成。选中刚才创建的在新建live template。创建一个templat group。这段代码粘贴到上面第3步。
2023-07-03 10:26:22
233
原创 window中文输入英文符号
windows10输入法,已经设置 "中文输入时使用英文标点" 但中文输入时还是输入中文的标点符号.或者不小心切换到了五笔再切换回拼音的时候, "中文输入时使用英文标点" 失效了.
2023-05-19 09:54:09
1051
原创 linux安装ipython
CondaHTTPError: HTTP 000 CONNECTION FAILED for url Elapsed: -An HTTP error occurred when trying将ssl_verify：true改成false。把镜像路径的https改为http。找到" .condarc "文件。这个文件在/home/用户目录下。
2023-05-15 15:37:09
267
原创 linux安装jupyter notebook
使用miniconda的conda安装jupyter notebook配置文件jupyter_notebook_config.py,这个文件在用户的家目录下的.jupyter目录里jupyter notebook打不开删除conda镜像源
2023-05-15 15:11:14
744
原创 linux三剑客 grep；awk；sed
grep,sed和awk都是读一行处理一行，直到处理完成。用于文本处理的流编辑器，加上正则表达式的支持，可以进行大量的复杂的文本编辑操作。
2023-04-19 16:44:27
459
原创 linux cut 与 sort
用法：cut [选项]... [文件]...-b, --bytes=列表 只选中指定的这些字节-c, --characters=列表 只选中指定的这些字符-d, --delimiter=分界符 使用指定分界符代替制表符作为区域分界--complement 补全选中的字节、字符或域-s, --only-delimited 不打印没有包含分界符的行。
2023-04-19 12:05:06
219
3
转载 java数组集合转换
Java中List、Integer[]、int[] 的相互转换int[] 转 Listint[] 转 Integer[]List 转 Integer[]List 转 int[]Integer[] 转 int[]Integer[] 转 List
2023-04-12 16:11:32
185
原创 shell 获取参数
2.可以使用$n,引用用户输入的参数(当n>=10时要用{}括起来,如:${n})3.可以使用read请求用户输入。1.可以直接引用环境变量。
2023-04-10 16:03:02
1560
原创 shell整形计算浮点型运算
4.let命令：和双小括号 (( )) 一样，let 命令也只能进行整数运算，不能对小数（浮点数）或者字符串进行运算。注意：对于类似let x+y这样的写法，Shell 虽然计算了 x+y 的值，但却将结果丢弃；若不想这样，可以使用将 x+y 的结果保存在变量 sum 中。test命令的参数：="
2023-04-10 13:50:28
371
原创 shell编程的基础
引入一个环境变量/定义一个环境变量export JAVA_HOME=/opt/install/jdk。定义用户变量： name='zhangsan' age=10 salary=100000。$@ 输入的所有参数以字符串数组的形式["1","2","3","4"]$* 输入的所有参数以字符串的形式展示"1 2 3 4"HISTSIZE 历史命令条数。HOME 当前用户家目录。LOGNAME 当前用户。$# 输入的参数的个数。$$ 当前程序的pid。$0 当前运行的程序。set 当前用户变量。
2023-04-03 15:51:54
155
原创 Linux安装MySQL
ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)ERROR 1290 (HY000): The MySQL server is running with the --skip-gran
2023-03-29 10:34:46
161
原创 rpm安装卸载
rpm -qa [软件] 查看软件rpm -ql [软件包] 以列表形式查看软件包的文件目录rpm -qi [软件包] 查看软件包的详细信息rpm -qf [文件路径] 查看文件属于哪个软件包rpm -e [软件包] 卸载软件包(如果相应的安装目录没有删除，需要手动删除)yum -erase [软件包] 卸载软件包(如果相应的安装目录没有删除，需要手动删除)
2023-03-27 17:22:30
1029
原创 mysql随机密码没有生成
mysql随机密码有可能不会生成解决办法目前只知道：一种方法重新安装1.先查看有没有mysql[shuqiq@hadoop102 桌面]# rpm -qa|grep mysql2.再看看mysql的路径[shuqiq@hadoop102 桌面]# twhich mysql3.先删除mysql[shuqiq@hadoop102 桌面]# rpm -e(mysql名字)4.删除第二步找到的目录特别要删除rm -rf /var/lib/mysql 该目录再重.
2022-02-24 17:06:59
1188
原创 Hive安装部署
Hive安装地址下载地址http://archive.apache.org/dist/hive/mysql 没有生成随机密码解决办法目前只知道：
2022-02-24 16:48:39
185
原创 scala运行时报错
Terminal initialization failed; falling back to unsupportedjava.lang.NoClassDefFoundError: Could not initialize class scala.tools.fusesource_embedded.jansi.internal.Kernel32 at scala.tools.fusesource_embedded.jansi.internal.WindowsSupport.getConsol...
2021-12-15 15:49:58
1072
原创 zookeeper 命令行操作
命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 使用 ls 命令来查看当前znode中所包含的内容 ls2 path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建 -s 含有序列 -e 临时（重启或者超时消失） ...
2021-12-15 12:22:02
369
原创 linux操作命令
//添加用户useradd用户名//指定或者修改密码passwd密码//删除用户userdel 用户名//切换用户su 用户名//查看当前用户/登录用户whoami/ who am I//新增用户组groupadd 组名 //增加用户时直接加上组useradd –g 用户组 用户名//删除组groupdel 组名//修改用户的组usermod –g 新的组名 用户名//help指令h...
2021-12-15 12:21:11
1227
原创 SQL执行顺序与书写顺序
书写顺序 select[distinct] from join（如left join） on where group by having union order by limit 执行顺序mysql执行sql的顺序从 From 开始，以下是执行的顺序流程1、FROMtable1 left join table2 on 将table1和table2中的数据产生笛卡尔集生成vt12、JOINta...
2021-12-09 11:57:26
492
原创 使用线程池的好处
使用线程池的好处池化技术应用：线程池、数据库连接池、http连接池等等。池化技术的思想主要是为了减少每次获取资源的消耗，提高对资源的利用率。线程池提供了一种限制、管理资源的策略。每个线程池还维护一些基本统计信息，例如已完成任务的数量。使用线程池的好处： 降低资源消耗：通过重复利用已创建的线程降低线程创建和销毁造成的消耗。 提高响应速度：当任务到达时，可以不需要等待线程创建就能立即执行。 提高线程的可管理性：线程是稀缺资源，如果无限制的创建，不仅会消耗系统资源，还会.
2021-12-09 11:43:13
221
原创 mapreducer工作机制
MapTask工作机制（1）Read阶段：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value。（2）Map阶段：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。（3）Collect收集阶段：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollector.collect()输出结果。在该函数内部，它会将生成的key/value分区（调用Partitio.
2021-12-09 11:42:32
123
原创 HDFS读写数据流程
1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成6）dn1、dn2、dn3逐级应答客户端7）客户端开始往dn1上传第一个block（先从磁盘..
2021-12-09 11:33:04
97
原创 HDFS-HA集群
HDFS-HA自动故障转移工作机制HA的自动故障转移依赖于ZooKeeper的以下功能：1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该..
2021-12-09 11:31:10
848
原创 DataNode工作机制
1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。3）心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。4）集群运行中可以安全加入和退出一些机器..
2021-12-09 11:26:48
1256
原创 NameNode&Secondary NameNode工作机制
思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。
2021-12-09 11:20:51
173
原创 监听器原理
1.首先有一个main（）线程2.在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络连接通信（connet) ，一个负责监听(listener)。3.通过conmect线程将注册的监听事件发送给Zookeeper。4.在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。5.Zookeeper监听到有数据或路径变化，就会将这个消息发送给listener线程。6.listener线程内部调用了process(方法。...
2021-12-08 09:18:46
1666
原创 MapReducer 报错 类转换异常
Caused by: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :class
2021-11-29 10:13:05
209
原创 MapReducer Mapper阶段出现异常
java.lang.Exception: java.lang.NumberFormatException: empty String at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462) at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)Caused by: java.lang.Num
2021-11-29 09:23:30
1019
原创 MySQL服务不见了
进入管理员cmd界面进入mysql安装的bin目录cd C:\Program Files\MySQL\MySQL Server 5.5\bin先安装一下服务mysqld.exe -install然后再运行mysqlmysql -uroot -p密码如果报错ERROR 1045 (28000): Access denied for user ‘ODBC’@‘localhost’ (using password: YES)那么可能是你忘了自己的密码了...
2021-11-25 10:34:43
438
原创 zookeeper启动问题
先确认zoo.cfg文件中的配置id与myid是不是一致server.A=B:C:DA是一个数字，表示这个是第几号服务器；集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。B是这个服务器的ip地址；C是这个服务器与集群中的Leader服务器交换信息的端口；D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举.
2021-11-16 10:28:05
225
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人