![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
分子美食家
机器学习爱好者
展开
-
记录一次frp失效bug
突然frp连不上去了,发现硬盘占用超过98%,估计是硬盘塞满了,清理了硬盘就好了。另外阿里云安全组记住开放所有协议,不只是tcp协议原创 2022-02-11 10:35:36 · 749 阅读 · 1 评论 -
linux查找大文件
find / -type f -print0 | xargs -0 du -h | sort -rh | head -n 10原创 2022-02-11 10:07:51 · 795 阅读 · 0 评论 -
设置静态ip地址
hadoop集群防止重启以后ip修改所以要修改静态ip地址1.解释搭集群的时候,需要设置静态ip,防止ip变化带来的集群连接问题2.代码:(1)interfaces文件修改:hadoop@hadoop101~$ sudo vi /etc/network/interfaces[sudo] password for hadoop:# interfaces(5) file used by ifup(8) and ifdown(8)auto eth0iface eth0 inet static原创 2020-09-01 15:19:50 · 291 阅读 · 0 评论 -
linux挂载其他硬盘
原来的硬盘是1TB的ssd现在不是很够用,买了一块3TB的机械硬盘,如何设置开机自启自动挂载。查看硬盘andrew@130manjaro:~#sudo fdisk -l [sudo] andrew 的密码:Disk /dev/nvme0n1:953.87 GiB,1024209543168 字节,2000409264 个扇区磁盘型号:HS-SSD-C2000 单元:扇区 / 1 * 512 = 512 字节扇区大小(逻辑/物理):512 字原创 2020-09-01 15:16:48 · 764 阅读 · 0 评论 -
linux 后台进程
后台运行模式在命令行输入命令之后,在最后面加一个&符号,即可实现命令后台运行。如果想要显示信息也不打印在屏幕上,可以按照如下方式进行。xxx >/dev/null 2>&1 & # 屏蔽一切logxxx >/tmp/xxx.log 2>&1 & # 可以在xxx.log中看日志后台运行时,都会有作业号,可以用jobs命令查看,带【】的就是作业号,后面原创 2020-08-12 23:37:17 · 145 阅读 · 0 评论 -
linux dd命令磁盘写入
dd命令由于 dd 命令允许二进制方式读写,所以特别适合在原始物理设备上进行输入/输出。例如可以用下面的命令为软盘建立镜像文件:dd if=/dev/fd0 of=disk.img bs=1440k有趣的是,这个镜像文件能被 HD-Copy ,Winimage 等工具软件读出。再如把第一个硬盘的前 512 个字节存为一个文件:dd if=/dev/hda of=disk.mbr bs=512 count=1if=为输入文件,of=为输出文件,bs=bytes同时设置读写块的大小为 bytes ,可原创 2020-08-12 23:35:55 · 3957 阅读 · 0 评论 -
linux网络设置
网络配置命令ifconfig eth0 192.168.1.13 设置IP地址ifconfig eth0 up 启动网卡ifconfig eth0 down 禁用网卡ifup eth0 启动网卡ifdown eth0 禁用网卡ifconfig eth0 192.168.1.13 设置IP地址ifconfig eth0 192.168.1.1 netmask 255.255.255.0 同时设置IP和子网掩码...原创 2020-08-12 23:34:40 · 77 阅读 · 0 评论 -
vim的文件中字符串的查找与替换
vim有着强大的替换和查找功能,若能进行熟练的运用,可以让工作效率得到一个很大程度的提高.替换语法:[addr]s/源字符串/目的字符串/[option][addr]表示检索范围,如:“1,n”:表示从第1行到n行“%”:表示整个文件,同"1,"".,"".,"".,":表示从当前行到文件尾[addr]省略时表示当前行s:表示替换操作,其为substitute的缩写[option] : 表示操作类型,如:g:globe,表示全局替换c:confirm,表示进行确认p:表示替代结果逐行原创 2020-06-01 14:38:03 · 338 阅读 · 0 评论 -
archlinux安装小记
archlinux是传说中野包众多,滚动更新,不稳定的代表,但是依旧阻止人们的热情,因为它高度可定制化,安装颇有难度,不过能用上自己安装的干净的系统,成就感也是杠杠的。以下笔记参考archwiki,按照archwiki安装好是好,就是有些冗余和有些坑需要避免,下次我重装的时候有个依据,避免下次踩坑。下载archLinux的iso,试过用tuna源太慢,ustc中科大的源也不行,换了网易163的...原创 2020-03-14 17:27:52 · 123 阅读 · 0 评论 -
hive常见命令
hive常用命令1、进入hive数据库:hive2、查看hive中的所有数据库:show databases;3、用default数据库:use default;4、查看所有的表:show tables;5、查询表结构:desc mytest(表名);6、查询表数据: select * from mytest(表名);7、创建数据库:hive> CREATE SCHEMA us...原创 2020-02-14 15:16:46 · 368 阅读 · 0 评论 -
将csv文件导入mysql
在mysql中新建一个表格,各个字段名字写好,然后load data local infile '/home/username/source_data/cus_information.csv'into table table_namecharacter set utf8fields terminated by ','lines terminated by '\r\n'igno...原创 2020-02-14 10:27:05 · 315 阅读 · 0 评论 -
awk的使用方法
awk使用方法awk ‘{pattern + action}’ {filenames}尽管操作可能会很复杂,但语法总是这样,其中 pattern 表示 AWK 在数据中查找的内容,而 action 是在找到匹配内容时所执行的一系列命令。花括号({})不需要在程序中始终出现,但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式,用斜杠括起来。awk语言的最基本...原创 2020-01-15 13:49:44 · 399 阅读 · 0 评论 -
sed命令
删除某行sed ‘1d’ ab #删除第一行sed ‘KaTeX parse error: Expected 'EOF', got '#' at position 20: …b #̲删除最后一行sed '1,2…d’ ab #删除第二行到最后一行显示某行sed -n ‘1p’ ab #显示第一行...原创 2020-01-15 13:37:31 · 334 阅读 · 0 评论 -
ssh保持长链接
打开服务器 /etc/ssh/sshd_config,我在最后增加一行ClientAliveInterval 60ClientAliveCountMax 1这 样,SSH Server 每 60 秒就会自动发送一个信号给 Client,而等待 Client 回应,(注意:是服务器发心跳信号,不是客户端,这个有别于一些 FTP Client 发送的 KeepAlives 信号哦~~~),如果客...原创 2020-01-14 14:42:26 · 357 阅读 · 0 评论 -
Arch安装zsh以及通过 Oh-My-ZSH! 开源项目的配置
Arch安装zsh以及通过 Oh-My-ZSH! 开源项目的配置首先:安装官方源的 zsh$ sudo pacman -S zsh安装 wget 、git 并获取开源项目的安装脚本$ sudo pacman -S wget$ sudo pacman -S git$ wget https://github.com/robbyrussell/oh-my-zsh/raw/master/to...原创 2019-12-20 23:00:12 · 1732 阅读 · 0 评论 -
arch更新失败的办法
使用arch 的日常更新的时候,由于软件包巨大或者镜像不稳定的时候,会发现失败的场景,这个时候可以安装一部分更新,选择忽略哪些不能更新的部分。在上面加 – ignore packagename...原创 2019-12-18 14:13:37 · 787 阅读 · 0 评论 -
manjaro无效的软件包
1.首先更新一下密钥,如果没有安装archlinux-keyring,请及时安装sudo pacman-key --refresh-keys2.重新加载相应的签名密钥sudo pacman-key --initsudo pacman-key --populate3。清除pacman 的缓冲文件sudo pacman -Scc4.更新或者安装系统即可sudo pacman -Syu...原创 2019-12-16 14:15:18 · 576 阅读 · 0 评论 -
大坨更新
andrew@manjaro ~/Desktop/Desktop % sudo pacman -Syu --overwrite=/usr/lib/libnv_vulkan_wrapper.so.1,/usr/lib/libprimus_vk.so.1 ...原创 2019-12-15 23:40:34 · 566 阅读 · 0 评论 -
mysql命令
– 启动MySQLnet start mysql– 创建Windows服务sc create mysql binPath= mysqld_bin_path(注意:等号与值之间有空格)连接与断开服务器mysql -h 地址 -P 端口 -u 用户名 -p 密码SHOW PROCESSLIST – 显示哪些线程正在运行SHOW VARIABLES – 显示系统变量信息数据库操作– 查...原创 2019-12-15 22:55:49 · 75 阅读 · 0 评论 -
linux find命令
Linux find命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时,不设置任何参数,则find命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。语法find path -option [ -print ] [ -exec -ok command ] {} ;参数说明 :find 根据...原创 2019-12-15 13:42:50 · 64 阅读 · 0 评论 -
解决ssh经常掉线不稳定的情况
在服务端的ssh 配置文件加上这样几句话。vim /etc/ssh/sshd_config找到下面两行ClientAliveInterval 0ClientAliveCountMax 3去掉注释,改成ClientAliveInterval 30ClientAliveCountMax 86400这两行的意思分别是1、客户端每隔多少秒向服务发送一个心跳数据2、客户端多少秒...原创 2019-12-15 10:34:40 · 3412 阅读 · 0 评论 -
linux统计文件的个数
ls | wc -w这个查看目录下多少个字节数ls | wc -c统计某文件夹下文件的个数ls -l |grep “^-”|wc -l统计某文件夹下目录的个数ls -l |grep “^d”|wc -l统计文件夹下文件的个数,包括子文件夹里的ls -lR|grep “^-”|wc -l...原创 2019-12-13 16:03:42 · 102 阅读 · 0 评论 -
crontab定时任务
Linux配置定时任务,大家都知道使用crontab这个系统功能,但有时候我们需要区分用户执行,下面就直接说一下2种方法的区别:方法1:使用命令 crontab -e 然后直接编辑定时脚本。这样执行以后,属于用户自定义的,会被写到 /var/spool/cron 目录下,生成一个和用户名一致的文件,文件内容就是我们编辑的定时脚本。[root@localhost cron.d]# cd /v...原创 2019-12-10 23:49:09 · 101 阅读 · 0 评论 -
tinyproxy代理
Tinyproxy 是一个轻量级的开源 web 代理守护进程,其设计目标是快而小。它适用于需要完整 HTTP 代理特性,但系统资源又不足以运行大型代理的场景,比如嵌入式部署。Tinyproxy 对小规模网络非常有用,这样的场合下大型代理会使系统资源紧张,或有安全风险。Tinyproxy 的一个关键特性是其缓冲连接的理念。从效果上看, Tinyproxy 对服务器的响应进行了高速缓冲,然后按照客户...原创 2019-12-10 01:06:17 · 2108 阅读 · 0 评论 -
scp命令
不同的Linux之间copy文件常用有3种方法:第一种就是ftp,也就是其中一台Linux安装ftp Server,这样可以另外一台使用ftp的client程序来进行文件的copy。第二种方法就是采用samba服务,类似Windows文件copy 的方式来操作,比较简洁方便。第三种就是利用scp命令来进行文件复制。下面来介绍一下scp的复制查看scp帮助:sup -h输出信息如下:u...原创 2019-12-09 20:39:06 · 247 阅读 · 0 评论 -
scp断点续传
scp 是通过ssh协议传输数据,如果是想传输一个很大的数据,这几天我就遇到过,一个tar包,400G左右,通过scp拷贝时,有可能遇到服务器断电什么的悲剧问题,那么类似scp拷贝的另一个命令 rsync就可以实现意外中断后,下次继续传,命令如下:rsync -P --rsh=ssh home.tar 192.168.205.34:/home/home.tar## -P: 是包含了 “–pa...原创 2019-12-09 20:35:14 · 623 阅读 · 0 评论 -
WSL windows子系统开启ssh-server服务
在win10中装完ubunru18.04后,想ssh链接上,但是ssh localhost都显示失败.这是由于win10中的wsl ssh错误所致.重新安装启用就可以了.一、系统本身自带的SSH有问题,需要remove一下,重新install一下sudo apt-get remove openssh-server二、然后重新安装sudo apt-get install openssh-...原创 2019-12-03 22:56:03 · 1571 阅读 · 0 评论 -
linux useradd
linux 增加用户并增加sudo权限sudo useradd -m new_username ## -m是给予新建一个home目录给予新用户sudo权限udo usermod -aG sudo andrew## 将用户添加到sudo组删除用户sudo deluser <newuser> ## 删除用户sudo deluser --remove-home <...原创 2019-12-03 21:41:49 · 280 阅读 · 0 评论 -
用命令行查看局域网的其他在线的ip
在同一局域网内,如果有多台主机在线,但是又没有办法查看路由器的ip设备,又想查看其他ip怎么办?首先查看自己的局域网ipifconfiglo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384 options=1203<RXCSUM,TXCSUM,TXSTATUS,SW_TIMESTAMP> inet 127...原创 2019-12-03 11:05:27 · 1344 阅读 · 0 评论 -
archlinux mariadb躺坑
systemctl start mariadb :(==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ====启动“mariadb.service”需要认证。Authenticating as: an...原创 2019-12-01 18:37:06 · 491 阅读 · 0 评论 -
安装mysql
mysql是非常常用的关系型数据库,在安装过程中时常有坑,特别是我经常重装系统,囧。环境:ubuntu18.04.3##安装mysql5.7.28sudo apt install mysql-client mysql-server##登录mysqlsudo mysql -uroot -pEnter password: 修改密码mysql> GRANT ALL PRIVIL...原创 2019-12-01 18:29:52 · 183 阅读 · 0 评论 -
使用Vscode进行远程炼丹
使用pycharm的痛苦作为一个机器学习爱好者,总是梦想有一台四个2080Ti显卡的主机进行炼丹,但是在公司基本只给一个笔记本,台式机在身边进行炼丹是一种奢望,那么如何链接远程的服务器进行炼丹呢?刚开始我用pycharm进行远程炼丹,将家里的台式机通过服务器进行端口映射之后可以用笔记本上使用pycharm的远程python解释器进行训练,不过问题也随之而来,pycharm进行远程训练的时候是将...原创 2019-12-01 17:30:30 · 1002 阅读 · 0 评论 -
利用frp进行内网穿透
内网穿透是打破没有公网ip的桎梏,让处于内网的机器也能在远程使用ssh链接,让我这个机器学习算法工程师也能处在世界任何一个地方操纵自己的电脑。话不多说,开始教程。需要的条件是,有一台有公网ip的服务器当代理机器,使用端口映射,将内网内的主机localhost:22y映射到公网ip的主机上任意一个没有占用的端口,比如6000.复习计算机网络假设我们的主机IP是192.168.0.0,路由器LA...原创 2019-12-01 16:33:53 · 373 阅读 · 1 评论 -
ssh保持长链接
方法有以下三种:1.修改server端的etc/ssh/sshd_configClientAliveInterval 60 #server每隔60秒发送一次请求给client,然后client响应,从而保持连接ClientAliveCountMax 3 #server发出请求后,客户端没有响应得次数达到3,就自动断开连接,正常情况下,client不会不响应systemctl reload ...原创 2019-11-30 23:17:41 · 139 阅读 · 0 评论 -
ssh设置免密登录
设置免密登录有一个小问题就是我们每次远程连接都要输入密码,很麻烦。所以这里我们设置一下ssh的免密登录。在本地pc生成ssh公钥和私钥ssh-keygen -t rsa这样会在当前目录生成名为id_rsa的私钥文件和名为id_rsa.pub的公钥文件,-t表示密钥类型是rsa。如果你只输入ssh-keygen生成的RSA密钥长度为2048,如果你对安全性要求比较高可以指定4096位的长...原创 2019-11-30 23:09:50 · 204 阅读 · 0 评论 -
manjaro升级的一些问题
最近manjaro linux一直升级失败,报错错误:无法从 mirrors.tuna.tsinghua.edu.cn : Operation too slow. Less than 1 bytes/sec transferred the last 10 seconds 获取文件 'archlinuxcn.db'解决的办法是在/etc/pacman.d下面加入这样的代码[option...原创 2019-11-30 22:16:06 · 3377 阅读 · 0 评论 -
python conda虚拟环境
anaconda是一个集成python的商业软件,曾经是一个很好用的conda管理包,但是最近有一点抽风,先是tuna,ustc等镜像源下架其软件,conda可以下载的包越来越少。不过conda virtua environment还可以,比如,一般在jupyter notebook中的kernel只有一个选项,在安装完conda的nb_conda和ipykernel包之后可以在kernel下面...原创 2019-11-30 20:52:59 · 280 阅读 · 0 评论 -
python虚拟环境
python的包管理不同于java,在日常中使用pip进行管理很方便,但是在实际项目中会发现使用系统自带的环境多有不便。可以在每新建一个项目的时候进行虚拟环境的建设,在项目发布的时候有比较好的依赖关系管理。使用virtualenv 进行虚拟环境以下基于python3,mac 10.15环境,linux类似pip3 install virtualenv --user若不加-- user可能...原创 2019-11-30 20:38:17 · 86 阅读 · 0 评论 -
sql 常用语句
查找数据的查询修改数据的查询聚合查询连接查询视图查询修改表的查询1. 查找数据的查询SELECT: 用于从数据库中选择数据SELECT * FROM table_name;DISTINCT: 用于过滤掉重复的值并返回指定列的行SELECT DISTINCT column_name;WHERE: 用于过滤记录/行SELECT column1, column2 FROM ta...原创 2019-11-27 21:47:30 · 128 阅读 · 0 评论 -
linux 用dd将iso写入U盘
在制作U盘启动的时候,有时候需要用dd命令写入U盘.sudo dd if=./manjaro-deepin-18.0.2-stable-x86_64.iso of=/dev/sdc bs=4Msudo watch kill -USR1 $(pgrep ^dd)查看硬盘情况df -h##df -h 文件系统 容量 已用 可用...原创 2019-11-27 21:43:08 · 1075 阅读 · 0 评论