- 博客(438)
- 资源 (95)
- 收藏
- 关注
原创 SecureCRT登陆服务器的速度很慢的定位解决
安装了kerberos之后,SecureCRT登陆服务器的速度很慢,好久都不反应,看了网上的定位,一般都是开启会话跟踪,"文件"->"跟踪选项" 开启跟踪选项,定位到耗时的步骤之后进行处理,大部分是交换密钥过多和DNS问题, 我的就是kerberos密钥的问题,勾掉就好了,在连接右键打开"会话选择"->"SSH2"->"密钥交换" 把kerberos的勾去掉,只保留diffile-hellman*的3个就够了。。
2023-03-03 10:48:59 1229
原创 hadoop shell 练习题
利用Hadoop提供的Shell命令完成以下任务(路径中的xxx替换为自己的用户名):1、显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;示例: hdfs dfs -ls /2、从HDFS中下载指定文件;示例: hdfs dfs -get /tmp/train/wordcount/in/input.txt ./myinput.txt3、在HDFS中指定位置创建文件夹;将刚才下载的myinput.txt文件中增加自己的用户名后,上传到HDFS中刚才创建的目录;xxx替换为
2023-03-02 19:30:00 2176
原创 hive连线题,hive建分区表,分桶表,内部表,外部表
{HIVE_HOME}/bin/hive启动hive客户端外部表使用external关键字,不维护数据文件;分区表使用PARTITIONED by子语句,分区是表目录下的子目录,起到水平拆分的作用;分桶使用CLUSTERED BY子语句指定分桶字段,按字段哈希将表文件拆分为多个小的表文件即桶文件;单个的桶就是表目录下的单个表文件。
2023-02-27 03:26:23 441
原创 导出maven工程依赖jar包
在maven项目下创建lib文件夹导出maven工程依赖jar包,在maven项目下创建lib文件夹,输入以下命令: mvn dependency:copy-dependencies -DoutputDirectory=lib,输入以下命令。
2023-02-21 20:15:00 507
原创 iptables防火墙屏蔽指定ip的端口
#尾部插入一条记录,拒绝ip访问除了22端口以外的所有端口iptables -A INPUT -s 192.1.217.54 -p tcp -m tcp ! --dport 22 -j REJECT# 第一行插入规则允许通过的端口号iptables -I INPUT 1 -s 192.1.217.54 -p tcp -m tcp --dport 8020 -j ACCEPT
2023-02-14 07:48:49 4757
原创 hadoop的namenode主从切换导致连到从机上无法读取目录Operation category READ is not supported in state standby
hadoop的namenode主从切换导致连到从机上无法读取目录, 应该使用core-site.xml中的fs.defaultFS中的value值进行连接,避免使用ip,否则namenode主从切换后就会这样。通常Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅用来同步Active NameNode的状态。查看节点状态的命令:hdfs haadmin -getServiceState yourNamenodeName。
2023-02-01 17:36:42 293
原创 Windows Kerberos客户端配置并访问CDH
1.Windows安装 Kerberos 客户端;2.配置 krb5.ini3.执行 kinit 发起认证4.浏览器可信配置,在浏览器输入about:config打开配置:输入 `network.auth.use-sspi`,并点击切换到 `false`;输入 `network.negotiate-auth.trusted-uris`,输入可信 URL 地址;输入 `network.negotiate-auth.delegation-uris`;
2023-01-29 16:59:55 2252
原创 sftp最大连接数设置MaxSessions
vi /etc/ssh/sshd_configMaxSessions 50MaxSessions:每个TCP连接允许的(多路复用)打开会话的最大数量。最大会话数指定每个网络连接允许的最大打开shell、登录或子系统(例如sftp)会话数。支持连接多路复用的客户端可以建立多个会话。将MaxSessions设置为1将有效地禁用会话多路复用,而将其设置为0将阻止所有shell、登录和子系统会话,同时仍允许转发。默认值为10。
2023-01-18 10:41:17 7462
原创 kerberos可以init但是连不上hadoop,禁用upd后成功连接hadoop集群。
kerberos可以init但是连不上hadoop,禁用upd后成功连接hadoop集群,解决在krb5.conf中禁用udp 在[libdefaults]下设置udp_preference_limit = 1
2023-01-17 17:20:28 302
原创 使用pypi-server创建私有pip源
为了让内网使用pip下载安装,需要在内网中创建pip源,类似离线仓库。使用pypiserver可以指定离线仓库目录, 将安装包放到离线仓库目录即可,只要有人上传一次后,其他人需要该模块,就不用再花时间去外网找了。不必一次同步全量的离线包,毕竟全量镜像可能有3T多。一、服务器安装 pypiserver#安装or。
2023-01-14 20:15:42 1701
原创 Centos7离线安装sqlserver2017
根据操作系统选择安装包,可以在这找下https://packages.microsoft.com/config我选择是先在一台有网的机器上下载好rpm安装包之后再传到内网机器上安装。
2023-01-06 18:30:00 754
原创 hadoop大数据入门HDFS、MapReduce、YARN的个人通俗理解
简要介绍了hadoop最重要的基础HDFS分布式存储和MapReduce分布式计算。HDFS是一个主从架构的集群,由一个主节点NN进行目录维护并统一处理用户读写请求, 并把数据按块分到多个数据节点DN上。MapReduce提供了统一的mapper、reducer接口实现将计算分为多个并行的子任务并可进行统计合并出最终结果。
2022-12-29 18:22:15 631
原创 zookeeper3.6.3升级jetty9.4.47解决安全漏洞CVE-2022-2048和CVE-2021-28169
zookeeper3.6安全漏洞CVE-2022-2048和CVE-2021-28169, 替换zookeeper的lib目录下的7个jetty为9.4.47版本jar包后重启zookeeper,即可。jetty9.4.47下载地址https://repo1.maven.org/maven2/org/eclipse/jetty/jetty-distribution/9.4.47.v20220610/
2022-12-12 13:23:26 13363 2
原创 hbase Acl授权
#切换hbase的admin用户的票据后hbase shell#给hdfs赋权 权限有5个 RWXCAgrant 'hdfs', 'RWXCA'#收回授权revoke 'hdfs'
2022-12-09 17:06:47 1203
原创 ftp共享盘挂载及权限——curlftpfs挂载FTP服务器
通过curlftpfs将远程ftp某个共享目录映射到本地目录,以达到多台机器共享同一目录的效果。首先安装ftp服务yum -y install epel-release;yum install vsftpd,然后 yum install curlftpfs在各节点安装curlftpfs并挂载远程ftp共享目录到本地即可在本地操作远程ftp共享目录curlftpfs -o codepage=utf8 ftp://username:password@yourip /home/share。
2022-12-09 11:09:25 6077 4
原创 网络中断3分钟后pulsar集群宕机
网络中断3分钟后pulsar集群宕机因为集群节点间网络故障,bookie 在心跳时间内(和 Zookeeper 交互数据)未获取到其他副本数据,认为副本丢失,继而发生集群级别的副本补齐动作(触发 Autorecovery)。海量数据复制会跟 Zookeeper 出现短时间高频次的访问,会导致 zk 几乎无法返回响应,导致整个集群Hang住,不可用。
2022-12-08 11:04:46 262
原创 hdfs-over-ftp使用说明
hdfs-over-ftp可以将hdfs文件系统通过ftp服务方式暴露出来,可以通过ftp客户端下载和上传hadoop文件。
2022-12-08 09:07:40 1344
原创 低版本客户端连接oracle12c报错ORA-28040: No matching authentication protocol
修改product/12.1.0/dbhome_1/network/admin/sqlnet.ora增加SQLNET.ALLOWED_LOGON_VERSION_SERVER=8SQLNET.ALLOWED_LOGON_VERSION_CLIENT=8重启数据库及监听;sqlplus / as sysdba;shutdown immediatestartuplsnrctl stoplsnrctl start;修改用户密码;alter user 用户名 identified by 新密码;
2022-12-04 09:10:50 1318
原创 yum安装postgresql
yum安装 yum install postgresql postgresql-server 创建数据库,修改密码,放开远程访问限制,重启
2022-12-01 22:03:59 2593
原创 oracle开启归档日志并修改归档日志路径
sqlplus / as sysdbashutdown immediate; startup mount;alter database archivelog;alter database open;archive log list;alter system set log_archive_dest_1='LOCATION=/data/tb_oracle/arch';alter system switch logfile;archive log list;
2022-11-21 10:35:46 4437
原创 find结合xargs删除文件
# find结合xargs删除文件find . -type f -name “*.txt” -print0 | xargs -0 rm -f
2022-11-04 23:41:56 604
原创 限制用户只能sftp不能ssh,一个用户可以上传,另一个用户只能下载
bin/false 限制不使用ssh, ChrootDirectory限制sftp根目录(该目录必须为root用户root属组,权限要是755,可以在该目录创建子目录并修改子目录属组来给其他用户操作)
2022-11-04 23:34:00 1684
原创 ntp离线时间同步
离线环境下如果没有ntp服务器,可以选择一台机器作为时间服务器,其他机器作为客户端向该机器获取时间。所有机器上都要安装ntp, 配置时间服务器时服务器和客户端的配置不同,服务器配置server 127.127.1.1,客户端要配置服务端的真实ip。
2022-10-28 16:04:02 780
原创 Ubuntu安装clickhouse集群
apt-get clickhouse*.deb安装。配置组网信息metrika.xml。config.xml放开本地访问限制,放开注释,引用组网信息 /etc/metrika.xml。连接客户端测试建分布式表语句clickhouse-client --password 123
2022-10-27 10:21:33 668
原创 windows下split大文件在linux下拼接
进入CygWin环境之后使用split命令切分文件,在linux只要使用cat命令合并写入一个文件即可。window没有split命令需要安装CygWin。-b是按大小切分, -l是按行数切分。
2022-09-26 09:17:51 773
原创 java执行shell并获取shell输出日志
获取shell输出日志需要java使用两个线程分别接受shell的标准输入流和错误流并打印出来。
2022-09-16 18:00:00 2579 2
原创 HP DL380z Gen9服务器Led故障灯说明
HP DL380z Gen9 编号 说明 状态1 开机/待机按钮和系统电源 LED 指示灯*绿色常亮 = 系统已启动绿色闪烁(1 Hz/周每秒)= 正在执行通电顺序琥珀色常亮 = 系统处于待机状态熄灭 = 未通电**2 运行状况 LED 指示灯* 绿色常亮 = 正常绿色闪烁(1 赫兹/周每秒)= iLO 正在重新引导琥珀色闪烁 = 系统性能下降红色闪烁(1 赫兹/周每秒)= 系统出现严重问题† 3 NIC 状态 LED 指示灯* 绿色常亮 = 有链路通向网络绿色闪烁(1 Hz/周每秒)
2022-09-12 23:38:45 13653
原创 arm麒麟安装mysql
1.安装deb文件dpkg -i *.deb安装过程中会要求你设置的mysql的root密码2.修改/etc/my.cnfdatadir = /data01/MPP/mysql/databind-address=0.0.0.03.重启mysqlsystemctl stop mysql.servicesystemctl start mysql.service4.查看状态systemctl status mysqld5.创建远程访问用户并赋权限
2022-09-02 10:52:56 1065
原创 org.apache.pulsar.client.cli.PulsarClientTool - Failed to subscribe persistent
pulsar的topic消费失败,报错Topic is temporarily unavailable。最终发现是一个broker进程假死,重启该broker节点后恢复正常。
2022-08-31 17:47:33 1175
原创 WordCount 官方源码解读及工程代码
通过解读WordCount代码可以了解MapReduce计算的基本思想,类和接口。Map实现键值映射,将hadoop分配的输入按实现逻辑处理为规定的键值对格式输出。Reduce实现业务处理逻辑。在这里对相同键进行词频统计的累加,输出结果键值对。.........
2022-08-31 10:27:56 1692
原创 shell 获取当前日期,当前时间
date +%Y%m%d%H%M%S这个man date看date命令的手册就清楚了。+代表按指定格式输出。
2022-08-29 19:30:00 7140
原创 grafana+promethus+jmx_export监控jvm
使用一个小demo模拟jvm进程,并开启jmx端口8077下载并启动jmx_export组件下载https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar本文使用0.3.1版本,因为grafana里现成的面板模板很多都是基于老版本的,新版本修改了标签名称会无法在grafana里显示出来。两种启动方式,两种jar...
2022-08-25 18:01:24 1583
原创 standard_init_linux.go:211: exec user process caused “exec format error“
在 amd 和 arm 架构下构建的镜像很有可能不能互通。解决办法:针对不同的硬件架构构建不同的镜像,或者构建跨架构(multi-arch)的镜像。
2022-08-22 11:30:12 1451
原创 redis分布式锁代码示例
加锁 jedis.set(String key, String value, String nxxx, String expx, int time)解锁使用lua脚本"if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end"
2022-08-09 15:02:18 328
MemoryAnalyzer-1.12.0.20210602-win32.win32.x86_64.zip
2021-10-12
jython-standalone-2.70.zip
2021-08-24
apache-log4j-2.14.1.zip
2021-06-07
flink-1.13.1-bin-scala_2.12.tgz
2021-06-04
jdk11官网下载 linux+windows
2021-03-08
arthas3.4-bin.zip
2020-10-14
data-integration.part3.rar
2020-04-27
data-integration.part2.rar
2020-04-27
data-integration.part1.rar
2020-04-27
mysql-5.7.29-winx64.zip
2020-01-14
代码整洁之道读书笔记.zip
2019-08-21
java多线程安全性基础介绍.pptx
2019-07-25
trino-server-412.tar.gz 分布式多数据源即席查询引擎Trino安装包(Presto)
2023-04-11
sqlflow-data-lineage-model-reference.pdf
2023-03-07
jetty-distribution-9.4.47.v20220610
2022-12-12
curlftpfs-0.9.2安装包
2022-12-09
clickhouse-20.5.4.40 deb安装包 Ubuntu可用
2022-10-27
mysql5.7arm64.zip麒麟arm64架构下的deb安装包
2022-09-02
麒麟ARM平台Docker的.deb安装包
2022-09-02
createrepo本地软件源安装包 createrepo-0.9.9-28.el7.noarch.rpm
2022-08-05
linux版本grafana+prometheus+node_exporter安装包,用于主机监控
2022-06-22
redis5离线安装文件包,包含redis-5.0.14.tar.gz和redis-4.6.0.gem
2022-06-10
chproxy_1.15.1_linux_amd64.tar.gz clickhouse官方代理工具chproxy
2022-06-01
hcache缓存cache查看工具
2022-05-26
clickhouse-22.2.2.1-2.x86_64.rpm离线安装包
2022-04-26
jackson-databind-2.9.10.8.jar升级相关jar包
2022-04-21
redis-3.2.13安装文件集群安装文件包含redis-3.2.13.tar.gz,和redis-3.2.1.gem
2022-04-16
flink-1.5.0-bin-hadoop26-scala_2.11.tgz
2022-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人