Linux
linux shell ubuntu OS
Yellow0523
这个作者很懒,什么都没留下…
展开
-
Hadoop集群部署
首先在Master节点解压文件,进入Hadoop的目录,我这里下载的是hadoop-2.7.7。解压后的文件目录是。master节点的主机名为master。原创 2023-07-03 20:39:24 · 1008 阅读 · 0 评论 -
Linux手动安装JDK
选择Linux版本下载JDK的的tar包,我这里下载的是jdk-11.0.12.tar.gz,上传到服务器上随便某个目录上并解压缩。四、查看JAVA环境是否配置成功,运行以下两条命令。如果都出现版本号,说明安装成功。二、配置JDK环境变量。在~/.bashrc文件中追加以下内容。注意将JAVA_HOME替换成你自己的JDK目录即可。进入解压缩之后的JDK文件夹,并查看JDK所在目录。一、在oracle官网。原创 2023-07-03 20:10:37 · 945 阅读 · 0 评论 -
Python获取当前工作目录以及改变工作目录
【代码】Python获取当前工作目录以及改变工作目录。原创 2023-02-23 22:26:33 · 1756 阅读 · 1 评论 -
Python中Json文件的写入与读取
注意Import json即可。原创 2023-02-23 17:34:44 · 1367 阅读 · 0 评论 -
Linux根据进程名字彻底删除所有相关的子进程
Linux有些时候kill -9进程pid,进程名字还会出现,比如spark提交应用时的SparkSubmit。这是因为当前进程有其它子进程依赖。原创 2023-02-22 21:30:22 · 1173 阅读 · 0 评论 -
Python线程实现超时自动退出
我们跑代码往往有一个需求,如果代码出错不希望它hang那边或者代码出错一直运行占用系统资源。最近跑Spark SQL发现有的Application总会因为配置参数出错而hang那边半天,就很烦。唯一你需要关注的参数就是timiLimit,它表示你希望你的应用运行多长时间退出,一般最后需要加入杀死应用程序的代码,在runAPP以及killAPP里自定义你的代码即可,亲测可用!原创 2023-02-22 17:37:45 · 1956 阅读 · 0 评论 -
Yarn节点unhealthy解决办法
有的节点可能会出现unhealthy状态,这种情况一般是因为那个节点上HDFS文件过多,导致剩余磁盘空间不足,一般解决方法是。超过该值该节点就会被列入不健康列表,并且不再使用该盘符参与计算任务。默认值为90%,将该值增大即可解决问题,可以更改至99.99%。一般用下面命令查看Yarn上的nodemanager节点状态。之后重启HDFS还有YARN即可,再次使用。可以看到所有节点可以都变为正常状态。该参数表示每块盘符的最高使用比例,删除HDFS上不常用的文件。原创 2023-02-19 20:00:53 · 1721 阅读 · 0 评论 -
编程常用命令总结
查看表的分区信息(如果不是分区表,会报错 Table call_center is not a partitioned table)df检查磁盘空间占用情况(并不能查看某个目录占用的磁盘大小);查看目录下文件大小(比如查看kafka-logs目录下所有文件之和的总大小)启动standalone模式下的所有集群(master以及slave节点)压缩Metrics目录下的所有文件,并将压缩包命名命名为Compress。查看表的所有字段以及字段的所有类型。查看Kafka当前的所有topic。原创 2022-11-29 00:21:55 · 2748 阅读 · 0 评论 -
word方框中打对号
1.输入大写字母R。2.将R的字体更改为 Wingdings 2即可。原创 2021-09-25 17:59:23 · 237 阅读 · 0 评论 -
ubuntu安装KVM
ubuntu安装KVM现在官网下载ubuntu镜像,桌面版或者服务端都可,这里以桌面端为例。安装之前确保磁盘有足够大的空间(这很重要)安装KVMsudo apt install qemu-kvm libvirt-daemon-system libvirt-clients bridge-utilssudo adduser `id -un` libvirtsudo adduser `id -un` kvm注意:id -un的命令是获取当前用户的用户名。验证安装是否成功sudo virsh原创 2020-11-06 16:39:44 · 5070 阅读 · 2 评论 -
SSH端口转发
当我们进行大数据开发时候,有些时候需要查看特定端口号对应的UI界面,但往往好多时候,我们的主机是没有办法直接连接上服务器的(往往需要借助一层或者多层跳板机)。假设此时有这样的一个场景,我的主机通过跳板机A连接到服务器B上。现在我在服务器B上开启Spark的HistoryServer进程(端口号为18080),现在需要对18080端口进行转发。具体的命令如下,在跳板机A上执行如下脚本,来转发18080端口号。ssh -CfNg -L 收听端口:目标主机:目标端口 username@hostnam原创 2021-09-26 23:26:31 · 378 阅读 · 0 评论 -
pycharm安装pytorch
在pycharm上安装pytorch时候,踩了不少坑,终于安装好了。下面是教程:1.安装前的准备工作最好先将conda或者pip的镜像源更换为国内的镜像,否则会报莫名其妙的超时错误或者失败等等。 并且将python版本升级到3.6.2以上,否则python版本过低也会报错,这里可以使用conda创建虚拟环境,选择你想要的python版本。2.确定你的cuda版本cmd命令行查看cuda版本nvidia-smi3.命令行的方式安装去pytorch官网:Start Locall原创 2021-11-05 15:57:25 · 19144 阅读 · 0 评论 -
Conda创建环境失败:CondaHTTPError: HTTP 000 CONNECTION FAILED
当时用Conda创建python环境时候,莫名其妙地报了这个错,字面理解就是网络超时。错误原因:默认镜像源访问速度过慢,会导致超时从而导致更新和下载失败。解决方法为:更换conda镜像源为国内镜像源。这里以清华镜像源为例:1.添加清华镜像源(依次执行以下四步命令)conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --add channel原创 2021-11-05 15:03:57 · 27865 阅读 · 4 评论 -
pip更换国内镜像源
在采用默认的 pip 安装一些第三方库的时候,由于被墙,经常会出现连接超时的傻逼情况。pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out.这时候,我们可以通过更换pip的镜像来解决此问题。首先在你电脑的相应文件夹下创建pip目录,比如我的用户名是yellow,需要在C:\Users\yellow目录原创 2021-11-05 13:19:27 · 5050 阅读 · 1 评论 -
windows查看cuda版本
安装pytorch时候,需要知道电脑的cuda版本,好多博客介绍的花里胡哨并且复杂的命令,都不好用,并且还贼坑。这里一个命令,即可解决,JJDD。nvidia-smi说明我的cuda版本是11.4,之后参考pytorch官方进行匹配就行。...原创 2021-11-05 12:59:56 · 2054 阅读 · 0 评论 -
Linux测试服务器端口号是否可以成功访问
当我们在服务器上搭建大数据框架,并启动某些service时候,需要时候需要知道某些端口号是否可以成功访问。但是大部分服务器是没有UI的,没法直接查看,因此需要借助telnet命令。具体用法为:telnet ip地址 端口号比如我想查看spark webUI是否可以成功访问。telnet 192.168.1.1 8080如果没有出现连接失败或者连接被拒绝的情况,则表示可以正常访问。...原创 2021-09-13 23:21:27 · 1081 阅读 · 0 评论 -
windows 删除文件夹 拒绝访问
windows下删除文件有些时候会提示必须使用管理员权限才能删除,然后你一直授权还一直删除不了,贼傻逼。然而windows下又无法像linux一样用sudo命令。接下来教大家一个简单的办法。1.打开windows下的powershell,选择以管理员的身份运行.2.执行以下命令rm -force E:\testDirectory\*rm -force表示强制删除,我上面的命令表示删除E盘下的testDirectory目录,后面选择你删除不了的文件或者文件夹即可,之后根据提示,.原创 2021-09-08 11:24:21 · 6780 阅读 · 0 评论 -
windows开启ssh当跳板机
1.先安装ssh客户端与服务器点击可选功能,搜索ssh如图所示,即安装好了ssh客户端与服务器,此时必要的组件已经安装完毕。2.开启ssh服务以管理员的身份打开cmd(不然开启ssh服务有可能被拒绝)开启ssh服务net start sshd会提示正在启动ssh服务,之后ssh服务就会成功启动。同时关闭ssh的命令是net stop sshd3.特殊情况如果你的台式机直接连接的是路由器,那么开始完ssh服务,依旧无法当跳板机,别人连接你的电脑会提示连.原创 2021-08-20 15:00:35 · 6346 阅读 · 1 评论 -
shell脚本将命令的输出结果赋值给变量
Shell 命令替换是指将命令的输出结果赋值给某个变量。比如,在某个目录中输入 ls 命令可查看当前目录中所有的文件,但如何将输出内容存入某个变量中呢?这就需要使用命令替换了。Shell 中有两种方式可以完成命令替换,一种是反引号` `,一种是$(),使用方法如下:比如我们统计一个文件中的行数,并存入以下变量中#使用反引号,存入Line变量line=`cat tempStatus.txt | wc -l`#使用$(),存入变量line=$(cat tempStatus.txt | wc原创 2021-08-12 13:53:14 · 20413 阅读 · 0 评论 -
Linux修改主机名
每次搭建spark或者hadoop集群时候,由于课题组的服务器是公用的,/etc/hosts文件中重复出现多个ip地址与不同服务器名字的映射,然后使用hadoop或者spark提交任务时候,会看到很多莫名其妙的错误。细心查看日志后发现,发现这些错误都有一个共同的特点,Caused by XXXXXXXunknown host XXX exception这个很傻逼的错误大多是因为master的主机名字由于诸多原因被改名了或者没有加到相应slave节点的/etc/hosts映射文件当中。此时最好原创 2021-07-27 23:27:17 · 5494 阅读 · 0 评论 -
Linux命令查看服务器信息
1.查看CPU型号cat /proc/cpuinfo | grep 'model name' |uniq2.查看CPU所有信息cat /proc/cpuinfo3.查看CPU的核数(即每个CPU中core的个数)cat /proc/cpuinfo| grep "cpu cores"| uniq原创 2021-06-13 21:17:36 · 586 阅读 · 0 评论 -
Shell脚本list史上最全教程
1.定义listlistTest=(value1,value2,value3)2.获取List的总个数echo ${#listTest[@]}输出: 33.获取list的某个元素值,这很类似于python中的切片操作。输出第2个元素:echo ${listTest[1]}输出:value2输出倒数第三个元素:echo ${listTest[-3]}输出:value14.一次输出list的所有值echo ${listTest[@]}输出:val原创 2021-05-17 17:34:56 · 25734 阅读 · 2 评论 -
pip(pip3)安装依赖库失败
这个傻逼pip安装scipy,sklearn总是失败,经过搜了多篇博客,终于得出结果,失败是因为当前pip不是最新版本。1.更新pip(pip3)pip install --upgrade pippip3 install --upgrade pip2.更新你想要的依赖包(比如scipy)pip3 install --user --upgrade scipy...原创 2021-05-08 23:28:12 · 1820 阅读 · 0 评论 -
ubuntu安装pip3
1.安装命令sudo apt-get install python3-pip2.查看pip3的版本以及对应的python版本pip3 -Vpip 21.1.1 from /usr/local/lib/python3.7/dist-packages/pip (python 3.7)3.更新pip3sudo pip3 install --upgrade pip4.查看pip3安装的包以及版本pip3 list...原创 2021-05-08 11:37:08 · 10322 阅读 · 0 评论 -
Ubuntu Python链接指向python3
1.安装python3.7sudo apt-get install python3.72.查看python目前的指向ls -l /usr/bin | grep python3.删除原有的python链接sudo rm /usr/bin/python 4.建立新的链接ln -s /usr/bin/python3.7 /usr/bin/python5.测试是否链接成功python --version看到python3.7,则链接成功。...原创 2021-05-08 10:52:52 · 5363 阅读 · 0 评论 -
Ubuntu彻底卸载Python
1.查看要卸载的Python版本。若要卸载python2,则查看命令为python2 --version若要卸载python3,则查看命令为python3 --version这里我卸载python3.6.2.卸载Python3.6sudo apt-get remove python3.63.卸载Python3.6及其依赖sudo apt-get remove --auto-remove python3.64.清除python3.6sudo apt-get原创 2021-05-08 10:32:37 · 43072 阅读 · 18 评论 -
Linux挂载硬盘
自带的边缘计算系统硬盘空间不足,故需要额外的硬盘挂载。首先,你需要一块儿硬盘,然后手动装载到服务器上。1.查看磁盘分区信息sudo fdisk -l2.找到你新买的那个磁盘这里我的磁盘是500G的,分区为/dev/nvme0n13.挂载该分区到某个目录下。这里我挂载到~/open-source目录下,命令为sudo mount /dev/nvme0n1 ~/open-source/即前一项为磁盘分区,后一项为挂载的目录(挂载到哪一个文件夹下)。4.查看是否挂载成功原创 2021-04-28 09:56:53 · 5781 阅读 · 0 评论 -
Vim命令详解
全局字符串替换 :%s/原字符串/目标字符串/g 跳转到文件顶端 gg 跳转到文件底端 G原创 2021-04-23 12:40:53 · 720 阅读 · 0 评论 -
Apache软件历史版本下载地址
Apache软件历史版本下载地址:http://archive.apache.org/dist/原创 2020-12-16 16:05:21 · 884 阅读 · 0 评论 -
Error: GPG check FAILED
Error:GPG check FAILED。这由于源key错误导致的dnf或者yum(软件包管理器)安装软件失败。解决的方法很简单,有些傻逼博客在那边坑人,写的一长串解决办法都不能用,其实用一个命令就能解决。yum/dnf install packagemame --nogpgcheck没错,添加--nogpgcheck选项就能部分解决此问题。...原创 2020-12-09 15:06:53 · 27213 阅读 · 48 评论 -
Linux新建用户名
Linux新建用户名添加新用户sudo useradd -m 新用户名sudo passwd 新用户名然后根据提示输入新用户名的密码,重复确认密码即可。给新用户可以执行root的权限sudo vi /etc/sudoers在# User privilege specificationroot ALL=(ALL:ALL) ALL下面添加新用户名 ALL=(ALL:ALL) ALL强制保存即可更改sh为bashsudo vi /etc/passwd文原创 2020-10-14 21:14:32 · 3198 阅读 · 0 评论 -
Linux创建Swap交换空间
Linux创建Swap交换空间Linux下当运行内存不足而磁盘空间却充足的时候,我们可以通过创建Swap分区的方法解决内存不足的问题,比如我的服务器内存只有4G,Swap建议分配大小是内存的2倍,也就是8G。本篇博客使用的方法是将文件新建为Swap分区。创建文件sudo dd if=/dev/zero of=/Swapfile bs=1024 count=8192k#of=output file,这是在根目录下创建Swapfile文件#bs=bytes,设置每个块大小#count表示有多原创 2020-09-24 10:43:49 · 507 阅读 · 0 评论 -
Flink集群部署
Flink standalone模式部署部署过好多次了,有的博客比较坑爹,这里还是写一篇博客吧。(注:这里以flink-1.11.1的版本为例子)举例我要搭建6个节点的Flink集群,1个master节点(名字为slave030),5个slave节点(名字分别为slave036,slave037,slave038,slave039,slave040)。需要更改的配置文件有三处:在master的节点上更改配置conf/flink-conf.yaml更改此处的localhost为master的i原创 2020-09-14 11:24:38 · 797 阅读 · 0 评论 -
Linux云服务器上python画图并保存
Ubuntu服务器调用python的matlabPlot画图报错原因是服务器上没有GUI界面。此时需要在头文件中加入前两行。import matplotlib as mplmpl.use('Agg')import matplotlib.pyplot as plt然后把绘制好的文件,保存到某个目录下。plt.savefig("test.pdf") 需要注意的是,图片可以保存为jpg,png,pdf,eps多种格式等等,然后导出到本地即可查看。...原创 2020-09-09 11:08:54 · 1758 阅读 · 0 评论 -
linux寻找文件命令
ubuntu如何查看特定文件的位置呢这里我想更改一个依赖库的源码,但是不知道安装位置,命令如下:locate +文件名locate pygad.py结果如下:即可。原创 2020-09-08 20:37:37 · 231 阅读 · 0 评论 -
Linux Screen教程
当我们用xshell连接远程服务器时候,可能会遇到网络问题,导致中断连接,此时我们可以使用screen软件去管理会话。1.首先需要安装screenapt-get install screen2.常用命令2.1新建一个会话screen -S 会话名称2.2查看所有的screen会话screen -ls如图所示:表示当前有两个screen会话,前面的数字表示当前会话id,之后的为会话名称,会话最初创建的时间以及当前会话的状态。Attached表示当前scre.原创 2020-06-14 17:35:26 · 4871 阅读 · 1 评论 -
linux ssh免密登录
最简单的ssh免密登录的配置1.准备工作2.命令行操作3.互相免密登录1.准备工作确保两台服务器的用户名字相同,这里以用户名是username,服务器A要免密登录到服务器B为例子。注意:以下命令均是在A服务器上进行的操作。2.命令行操作生成SSH密钥对,之后一直点回车即可。ssh-keygen -t rsa将公钥追加到目标主机上去即可,这个过程需要输入一次B的登录密码。ssh-co...原创 2020-03-16 15:34:40 · 869 阅读 · 0 评论