Linux
文章平均质量分 51
大鱼-瓶邪
工作已签,base杭州,专注毕业,后期更新可能会稍微少一点,还是会和大家一起探讨。
华中科技大学在读研究生。主要做核聚变模拟计算,管理着82个节点的集群,做大数据和机器学习,利用10多个老节点搭建各种环境钻研大数据知识,主要是Hadoop生态圈(HDFS+Spark+Sqoop+HIve+Hbase+Pig+Zookeeper)。<br>也用python做科研数据分析,机器学习。<br>熟悉scala开发<br>本科期间跟随导师做了两年的java web开发,熟悉ssh框架,mysql,oracle数据库
展开
-
Linux集群下各节点的时间同步
一般而言分三种情况:1,各节点可以连接外网 2.集群中某个节点可以连接外网 3.所有节点不能连接外网一些命令说明: date命令: date :查看当前时间, date -s 09:38:40 :设置当前时间 ntpdate命令: ntpdate -u 210.72.145.44 :网络时间同步命令 注意:若不加上-u参数,...原创 2018-05-18 11:39:40 · 8367 阅读 · 0 评论 -
Linux下的常用的打包和解压缩命令
各个不同后缀的含义如下:.tar打包格式:tar程序打包的数据,并没有压缩过 .z格式:compress程序压缩的文件 .gz压缩格式:gzip程序压缩的文件 .bz2压缩格式:bzip2程序压缩的文件 .tar.gz打包压缩:tar程序打包的文件,其中并且经过 gzip 的压缩 .tar.bz2打包压缩:tar程序打包的文件,其中并且经过 bzip2 的压缩.tar压...原创 2018-06-21 18:40:22 · 22273 阅读 · 0 评论 -
Linux 中将用户添加到组的指令
在 Linux 操作系统下,如何添加一个新用户到一个特定的组中?如何同时将用户添加到多个组中?又如何将一个已存在的用户移动到某个组或者给他增加一个组?对于不常用 Linux 的人来讲,记忆 Linux 那繁多的命令行操作真是件不容易的事。在 Linux 中,增加用户或改变用户的组属性可以使用 useradd 或者 usermod 命令。useradd增加一个新用户或者更新默认新用户信息。userm...原创 2018-07-09 10:27:19 · 2034 阅读 · 0 评论 -
在Linux中查看所有正在运行的进程
可以使用ps命令。它能显示当前运行中进程的相关信息,包括进程的PID。Linux和UNIX都支持ps命令,显示所有运行中进程的相关信息。ps命令能提供一份当前进程的快照。如果想状态可以自动刷新,可以使用top命令。ps命令输入下面的ps命令,显示所有运行中的进程:1# ps aux | less 其中,-A:显示所有进程a:显示终端中包括其它用户的所有进程x:显示无控制终端的进程任务:查看系统中的...原创 2018-07-04 11:34:25 · 88862 阅读 · 2 评论 -
Centos6.5安装mysql(mysql-5.7.22-linux-glibc2.12版)
下载:https://dev.mysql.com/downloads/file/?id=476936下载后上传到Linux拷贝:解压:重命名将文件移到/usr/local安装:注意上图中要进入到mysql才执行命令完毕:红色为root初始密码...原创 2018-07-27 09:50:33 · 647 阅读 · 0 评论 -
曙光linux集群命令,不断更新
clusconf -yd "df -h |grep public" ------------查看磁盘挂载clusconf -yd "cat /etc/rc.local |grep public"原创 2018-08-13 17:49:11 · 1421 阅读 · 0 评论 -
Centos下使用IDEA,Maven开发操作Hadoop环境搭建
windows下搭建见:https://blog.csdn.net/qq_25948717/article/details/81982612先安装jdk。Centos下安装IDEA网上很多教程,很简单。下载maven:http://maven.apache.org/download.cgi下载解压安装解压: vim /etc/profile然后还需要 配置环境变量。...原创 2018-08-24 12:48:30 · 1586 阅读 · 0 评论 -
利用taskset命令,将某进程绑定到某个CPU上
将pid号为2181的进程绑定到cpu0上:[root@Centos ~]# taskset -cp 0 2181pid 2181's current affinity list: 0pid 2181's new affinity list: 0将pid号为2181的进程绑定到几个cpu上:[root@Centos ~]# taskset -cp 0,1 2181 --绑定到...原创 2018-08-21 16:35:38 · 1738 阅读 · 0 评论 -
免密码登陆SSH原理和配置
我们在搭建Hadoop集群时,由于节点之间通信,经常切换,配置SSH免密码登陆是必须的,单节点伪分布式集群namenode和datanode等之间也需要通信。SSH是Secure Shell的缩写,由IETF的网络小组指定,是建立在应用层和传输层的安全协议,专门为远程登陆会话和其他网络服务提供安全性的协议。本地配置SSH:1)登陆Linux系统,进入到.ssh(隐藏文件:cd ~/.s...原创 2018-09-08 13:47:47 · 207 阅读 · 0 评论 -
Linux下的RAM,ROM,虚拟内存介绍
其实RAM就是高速缓存,通电就具有记忆功能,断电就失去,也就是运行内存,就是用来存放临时文件,而“内存”就是RAM的一种物理硬件,广义来说两者也可以说是同一概念。而虚拟内存是系统利用硬盘分出来的具有辅助内存工作的虚拟RAM,不是硬件,但又依靠硬盘。简单的说 RAM是你一般买电脑时看到的那个内存,电脑运行一些程序,系统时都会装入这个内存。。。ROM是固定的内存,只是电脑启动时会读取用...原创 2018-11-05 10:56:40 · 2480 阅读 · 0 评论 -
Linux下的Swap(交换空间)的介绍
Linux的内存和虚拟内存的介绍见:https://blog.csdn.net/qq_25948717/article/details/83745228虚拟内存和交换空间,这两个概念要和操作系统一起说,window下的“虚拟内存”实际上是存在磁盘上的页面文件,和linux的交换空间概念一样,都是物理上实际存在的东西,如果内存够用,没有缺页,你禁掉这两个东西不会影响虚拟存储器;然而撇开操作...原创 2018-11-05 11:11:36 · 2045 阅读 · 0 评论 -
Linux集群中切换节点出现$4.1类问题的解决办法
出现这类问题多是由于相应节点没有挂载公共磁盘(所有节点都可以访问),而集群中的用户目录都在公共磁盘上,导致切换时出现错误。例如如下,切换node41时出现下面问题查看挂载情况:我的用户目录在/public/users/yexin,显然没有用root用户切换到node41(注意一半普通用户不能切换但是root而已,是因为root用户在各个机器上有自己的目录在/root下,无需公共磁盘,ssh nod...原创 2018-05-16 21:45:10 · 3482 阅读 · 0 评论 -
批量关闭Linux计算机集群
实验室集群是有83个机器组成的集群,node100是主节点,其余node1-node82是计算节点,有时停电要关闭集群,不可以直接关闭主节点(输入 init 0 表示关闭),要先关闭计算节点,再关闭主节点,可以通过下面的脚本命令关闭:脚本:shutdown.sh 注意把脚本执行权限设为root所有for ip in `seq 1 82`; do echo"---------[shutdo...原创 2018-05-16 21:29:28 · 1910 阅读 · 0 评论 -
Linux中开启VNC服务
在某个linux主机上安装VNC,可以让客户端连接时呈现图形界面首先需要检查一下服务器是否已经安装了VNC服务,检查是否安装VNC的命令如下:rpm -qa | grep vnc已安装。如果没有安装,运行:要以root运行下面的命令yum install tigervnc tigervnc-server安装,使用下面的命令编辑配置文件:vi /etc/sysconfig/vncservers可能您...原创 2018-05-18 16:09:42 · 13190 阅读 · 0 评论 -
Centos安装FTP
1、检查是否已经安装vsftp rpm -qa | grep vsftpd 出现 vsftpd-..-** 说明已经安装2、安装vsftpd (也可以离线安装: 下载vsftpd: ftp://rpmfind.net/linux/centos/6.7/os/x86_64/Packages/vsftpd-2.2.2-14.el6.x86_64.rpm 离...原创 2018-05-20 17:02:33 · 1129 阅读 · 0 评论 -
Linux中一些常用的命令
systemctl restart network ---------------重启网络ifup ens33 ----------------单独启动网卡service iptables stop -----------------关闭防火墙(centos7不适用)...原创 2018-05-20 18:05:13 · 156 阅读 · 0 评论 -
Linux系统中一些文件解释
/etc/profile ----环境变量的配置文件,对所有用户有效/etc/network------IP配置/etc/hostname-----主机名文件/etc/resolc.conf------ 域名服务器文件/etc/host-----------内网搭建时的Ip和主机名映射...原创 2018-05-20 18:05:26 · 209 阅读 · 0 评论 -
在集群中各节点上离线安装python3.6
说明:该计算node100为主节点,可连外网,其他节点通过内部网络连接,无法连接外网。1.假设编译环境已经准备完善。否则执行下面命令 yum groupinstall 'Development Tools' yum install zlib-devel bzip2-devel openssl-develncurses-devel 2.通过主节点下载 wget https://w...原创 2018-05-14 15:44:54 · 2077 阅读 · 2 评论 -
两台linux之间拷贝文件(简单高效)
将文件从本地拷贝到服务器:将当前目录下的filename文件拷贝到远程服务器192.168.2.208的/home/username/Documents下,如果不用root可能由于权限不够,无法拷贝。scp filename root@192.168.2.208:/home/username/Documents如果出现 filename下有很多子文件,用scp –r filenameroot@21...原创 2018-05-14 15:47:42 · 8011 阅读 · 0 评论 -
一台Linux电脑连接另一台Linux(SSH实现linux之间的免密码登陆)
首先查看是否安装ssh服务:systemctl status sshd.service 启动服务:systemctl start sshd.service 重启服务:systemctl restart sshd.service 开机自启:systemctl enable sshd.service 若已安装就行,否则 输入:yum install openssh-server安装安...原创 2018-05-14 15:51:07 · 15543 阅读 · 0 评论 -
Linux下查看CPU信息并且计算机器的浮点运算能力
输入 cat /proc/cpuinfo物理CPU个数: cat /proc/cpuinfo |grep "physical id"|sort |uniq|wc -l每个CPU物理核数: cat /proc/cpuinfo |grep "cpu cores"|uniq每个CPU逻辑核数: cat /proc/cpuinfo |grep "siblings"|uniq...原创 2018-05-25 13:22:01 · 10912 阅读 · 0 评论 -
Lnuix开放固定端口
建议采用第二种开放端口的方法:方法一:命令行方式 1. 开放端口命令: /sbin/iptables -I INPUT -p tcp --dport 8080 -j ACCEPT 2.保存:/etc/rc.d/init.d/iptables save 3.重启服务:/etc/init.d/iptables rest...原创 2018-05-15 13:43:32 · 283 阅读 · 0 评论 -
hadoop运行单词计数实例
创建文件。上传进入到运行的包目录运行包(下图表示运行成功)注意输出目录是根据自己设定的,如果在配置文件中设置为/tmp,则后面必须是/tmp,当/tmp已经存在时,删除重新建立文件按再运行。查看结果:fu:可以输出到起到目录,系统自动创建...原创 2018-06-02 18:41:03 · 1394 阅读 · 0 评论 -
Buffer And Cache
使用free命令查看我们实验室文件服务器内存得到的结果,-m选项表示使用MB为单位:输出的第二行表示系统内存的使用情况:注:前面四项都比较好理解,buffer 和 cache找不到合适的词来翻译,它们的区别在于:A buffer is something that has yet to be “written” to disk.A cache is something th...原创 2019-04-23 16:01:26 · 223 阅读 · 0 评论