linux操作
linux常用命令
大数据AI笔记
一只认真写博客的菜鸟
展开
-
linux 、shell下最常用命令
摘要pwd的含义是“print working directory”,会显示当前目录的绝对路径。ls的含义是“list directory contents”,它会列出当前目录的内容。这个命令还有其他参数可选。cd的含义是“change directory”,它会改变当前目录到你指定的目录。如果你不指定,则会返回你的 home folder。常用文件操作1. 列出文件ls 参数 目录名原创 2017-12-17 22:05:27 · 715 阅读 · 0 评论 -
shell 后台执行 | 命令分解、hadoop任务
这个命令分五个部分,分别是nohup、sh run.sh、&amp原创 2018-08-22 11:14:30 · 13083 阅读 · 0 评论 -
vim使用总结
基本上 vi/vim 共分为三种模式,分别是:命令模式(Command mode)插入模式(Insert mode)底线命令模式(Last line mode)- 命令模式:启动 vi/vim,便进入了命令模式i 切换到插入模式,以输入字符。x 删除当前光标所在处的字符。: 切换到底线命令模式,以在最底一行输入命令。- 输入模式:在命令模式下按下 i 就进入了输入模式。在输入原创 2018-01-01 23:52:56 · 5405 阅读 · 0 评论 -
linux终端下载文件报错: Connection refused
下载数据报错:443: Connection refusedDNS被污染了,需要手动在host文件里面添加要访问网站的IP地址,以跳过DNS解析。原创 2022-12-08 14:54:23 · 2124 阅读 · 0 评论 -
markdown编写常用html标签,csdn右侧帮助文档没有提示的用法
1.图片大小调整<img src="图片的url" width="60%" >比如<img src="https://img-blog.csdnimg.cn/20200109211721688.jpeg?" width="60%" > 显示效果 2.字体颜色调整<font face="字体" color=颜色>文本内容</font&g...原创 2020-01-09 21:22:21 · 285 阅读 · 0 评论 -
报错 syntax error near unexpected token `(‘
问题的发现写代码的肯定少不了和 shell 接触,今天执行一个 shell 脚本时发现报错了,报错内容如下:syntax error near unexpected token `('脚本内容排查了很多遍都没有找到原因,执行的方式为 sh xx.sh然后使用 source xx.sh 执行和 bash xx.sh执行都是 ok 的。知识的了解source 执行命令是直接执行命令,不创建子 shellsh 创建子 shell。子 shell 里面的变量父 shell 无法使用,对环境变量的修转载 2021-11-24 13:58:40 · 1695 阅读 · 0 评论 -
两台服务器之间大数据文件传输步骤
目标用wget将m1机器上面的 taorui/路径下的数据传输到m2机器指定路径。操作一、m1机器上1.打包文件进入所需传输文件的目录对文件打包,由于数据很大,这里后台执行。tar -cvf 压缩后文件.zip 压缩前文件或nohup tar -cvf taorui.zip taorui/ &2.开端口在当前路径下执行以下命令,端口号用没有被占用的,我...原创 2019-05-07 22:31:28 · 8027 阅读 · 2 评论 -
在Linux服务器上面上传下载文件,Mac下 sz\rz 的安装和使用
一、大数据的方向PC–&amp;amp;gt;移动互联网–&amp;amp;gt;物联网PC–&amp;amp;gt;云计算–&amp;amp;gt;大数据二、hadoop是什么Hadoop是一个开源的大数据框架Hadoop是一个分布式计算的解决方案Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)三、HDFS总结普通的成百上千的机器按TB甚至PB为单位的大量数据简原创 2018-03-07 18:00:27 · 3033 阅读 · 0 评论 -
修改你的mac主机名
对于 Mac OS 下的终端来说,此时显示的“主机名”就是 HostName,也就是主机真正的名称,我们可以通过命令查看当前的“主机名”:echo $HOSTNAME如果要修改主机名,可以使用下面的命令:sudo scutil --set HostName 新的主机名执行命令后,再输入 exit 结束当前终端进程。重新打开终端,就会发现主机名已经修改为新的主机名了。那么原创 2018-01-03 16:31:55 · 26769 阅读 · 2 评论 -
关于环境变量的总结
背景明天就大年三十了,今天上班已经没有太多的心情好好工作了,想到自己从事大数据AI工作两年了都没有真正跑过spark任务,之前在百度跑过几个hadoop任务,简单的获取数据,计算特征,最近的项目上新同学的写的工程都是Scala实现,因为业务场景对实时性要求极高,需要在spark集群上跑,在这样的背景下我必须利用春节时间快速熟悉spark。昨天装好了java-11,pyspark不支持,只能支持...原创 2019-02-03 15:31:07 · 957 阅读 · 0 评论