![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
文章平均质量分 88
大师兄你家猴跑啦
主要Java 、spark 、大数据技术
展开
-
iostat 命令
iostat 命令转载 2022-06-08 10:23:53 · 737 阅读 · 0 评论 -
Shell脚本中替换字符串等操作
一、判断读取字符串值表达式 含义 ${var} 变量var的值, 与$var相同 ${var-DEFAULT} 如果var没有被声明, 那么就以$DEFAULT作为其值 * ${var:-DEFAULT} 如果var没有被声明, 或者其值为空, 那么就以$DEFAULT作为其值 * ${var=DEFAULT} ...转载 2018-10-22 13:56:39 · 18614 阅读 · 0 评论 -
rm 删除文件后磁盘依然占用
lsof命令用于查看你进程开打的文件,打开文件的进程,进程打开的端口(TCP、UDP)。找回/恢复删除的文件。是十分方便的系统监视工具,因为lsof命令需要访问核心内存和各种文件,所以需要root用户执行。在linux环境下,任何事物都以文件的形式存在,通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等,系统在后台都...转载 2018-09-10 15:38:22 · 3655 阅读 · 0 评论 -
Ftp 连接linux服务器
1、连接服务器的命令: (1) 格式:ftp hostname 端口; 如:ftp 192.168.10.10 2175 回车; (2) 服务器询问你用户名和密码,分别输入用户名和相应密码,待认证通过即可。 (3) 如果不加端口则连接一直在等待,直到超时;2. 下载文件下载文件通常用get和mget这两条命令。a) get 格式:get [remote-file] [lo...转载 2018-05-25 11:00:19 · 9182 阅读 · 0 评论 -
UnknownHostException :logSave
1、提交程序报错;(1)利用crontab 设置定时任务,利用python 脚本提交spark程序时,报UnknownHostException :logSave 错,具体错误如下:Exception in thread "main" java.lang.IllegalArgumentException: java.net.UnknownHostException: logSave ...原创 2018-04-24 14:01:54 · 1836 阅读 · 0 评论 -
Mac pycharm 导入pyspark
转载于:点击打开链接1 前提:已经安装了pycharm,下载了spark(官网下载,我下的是spark-2.1.1-bin-hadoop2.7.tgz,解压缩后为文件夹spark-2.1.1-bin-hadoop2.7,我将文件放在了/Applications/spark/下,这个文件夹里面有python文件,python文件下还有两个压缩包py4j-some-version.zip和pyspar...转载 2018-03-22 00:00:58 · 1830 阅读 · 0 评论 -
Spark GC overhead limit exceeded
1、在运行spark 代码时,抛出错误:18/03/24 08:52:00 WARN server.TransportChannelHandler: Exception in connection from /192.168.200.164:37768java.lang.OutOfMemoryError: GC overhead limit exceeded at java.io...原创 2018-04-24 14:02:40 · 7754 阅读 · 0 评论 -
大规模数据处理中拒绝连接错误分析处理
1、处理的数据有几百个G,把数据处理成按照手机号计算1万多个特征 ;2、数据处理环境: spark-2.0.2; --executor-memory 40g --total-executor-cores 120 --driver-memory 40g 3、报的错误org.apache.spark.shuffle.MetadataFetchFailedException: Missi...原创 2018-07-04 14:44:31 · 4448 阅读 · 0 评论 -
sed 详解
sed 编辑器是 Linux 系统管理员的工具包中最有用的资产之一,因此,有必要彻底地了解其应用。Linux 操作系统最大的一个好处是它带有各种各样的实用工具。存在如此之多不同的实用工具,几乎不可能知道并了解所有这些工具。可以简化关键情况下操作的一个实用工具是 sed。它是任何管理员的工具包中最强大的工具之一,并且可以证明它自己在关键情况下非常有价值。sed 实用工具是一个“编辑器”,但它与其它大...转载 2018-03-10 13:01:10 · 1176 阅读 · 0 评论 -
Linux 挂载目录
1、查看当前磁盘的情况:fdisk -l;2、查看哪个目录没有被挂载;df -h ;查看已经挂载的目录;4、找个空闲的磁盘 挂载data1; 可以手动挂载,只是手动挂载在宕机重启后需要再次挂载;5、一劳永逸的挂载方式:修改 : vi /etc/fstab,修改结果如下图所示:6、OK原创 2018-01-03 16:30:10 · 8135 阅读 · 2 评论 -
AWK 详解
简介awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfr转载 2017-12-07 13:43:20 · 144 阅读 · 0 评论 -
Linux Centos 搭建SFTP服务器
1、查看openssh的版本ssh -V 使用ssh -V 命令来查看openssh的版本,版本必须大于4.8p1,低于的这个版本需要升级。2、创建sftp组groupadd sftp 3、创建一个sftp用户,用户名为mysftp,密码为mysftp修改用户密码和修改Linux用户密转载 2017-12-07 13:43:07 · 295 阅读 · 0 评论 -
Linux IO实时监控iostat命令
简介iostat主要用于监控系统设备的IO负载情况,iostat首次运行时显示自系统启动开始的各项统计信息,之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。 语法iostat [ -c ] [ -d ] [ -h ] [ -N ] [ -k | -m ] [ -t ] [ -V ] [ -x ] [ -转载 2017-12-07 13:42:54 · 175 阅读 · 0 评论 -
sort命令文件过滤分割与合并
sort命令是在Linux里非常有用,它将文件进行排序,并将排序结果标准输出。sort命令既可以从特定的文件,也可以从stdin中获取输入。语法: sort(选项)(参数)-b:忽略每行前面开始出的空格字符; -c:检查文件是否已经按照顺序排序; -d:排序时,处理英文字母、数字及空格字符外,忽略其他的字符; -f:排序时,将小写字母视为大写字母;转载 2017-12-06 11:42:27 · 573 阅读 · 0 评论 -
Hdfs 数据块丢失处理
1、查看节点、hdfs、丢失的数据块 命令:hadoop dfsadmin -report 用这个命令可以快速定位出哪些节点down掉了,HDFS的容量以及使用了多少,以及每个节点的硬盘使用情况。当然NameNode有个http页面也可以查询,但是这个命令的输出更适合我们的脚本监控dfs的使用状况;具体如图:[root@66666logs]# hdfs df原创 2017-12-06 11:39:46 · 13083 阅读 · 0 评论