linux
yisun123456
大数据开发、个性化推荐
展开
-
crontab hadoop spark 不生效
单独执行含有hadoop命令脚本生效,但是放到crontab里执行不行。1、检查crontab是否启动 systemctl status crond 、 systemctl start crond2、如果生效了,很可能是环境问题 需要加上环境 source /etc/profile source ~/.bashrc......原创 2022-06-29 10:53:15 · 358 阅读 · 0 评论 -
Linux中文本操作 vi/vim基础操作
Linux vi/vim所有的 Unix Like 系统都会内建 vi 文书编辑器,其他的文书编辑器则不一定会存在。但是目前我们使用比较多的是 vim 编辑器。vim 具有程序编辑的能力,可以主动的以字体颜色辨别语法的正确性,方便程序设计。相关文章:史上最全Vim快捷键键位图 — 入门到进阶什么是 vim?Vim是从 vi 发展出来的一个文本编辑器。代码补完、编译及错误跳转...转载 2019-10-21 10:29:20 · 155 阅读 · 0 评论 -
基于物品推荐和基于用户推荐计算的大致逻辑
基于用户推荐1.将以物品为key,聚合所有用户;2.两两计算出用户间的距离(计算矩阵的相似度)3.对每个用户倒排距离最近的20个,然后从这些用户中拿到打分最高的10个推荐给用户。基于物品推荐1.计算物品与物品之间有多个少相同用户(同一用户同时消费过的物品累加)2.计算物品间的相似度(两物品同时出现的用户数/各自用户数乘积.sqrt)3.拿到这些用户的top,然后再排序未...原创 2019-06-16 11:07:33 · 941 阅读 · 0 评论 -
Linux 从后向前看文件内容
当日志文件log.log很长,但又要按内容从后往前查看时,可以使用如下命令:tac log.log | moretac log.log | less可以采用如下方式来记忆该命令:cat log.log | more是从前往后查看文件内容,而tac命令是cat命令的字符串反转形式,所以其执行结果也和cat执行结果相反。...转载 2019-05-24 10:44:28 · 6918 阅读 · 1 评论 -
通过jstack与jmap分析一次线上故障
一、发现问题 下面是线上机器的cpu使用率,可以看到从4月8日开始,随着时间cpu使用率在逐步增高,最终使用率达到100%导致线上服务不可用,后面重启了机器后恢复。二、排查思路简单分析下可能出问题的地方,分为5个方向:1.系统本身代码问题2.内部下游系统的问题导致的雪崩效应3.上游系统调用量突增4.http请求第三方的问题5.机器本身的问题三、开始排查...转载 2019-03-25 17:46:59 · 452 阅读 · 0 评论 -
Linux vi/vim 常用命令
(一)vi/vim是什么?Linux世界几乎所有的配置文件都是以纯文本形式存在的,而在所有的Linux发行版系统上都有vi编辑器,因此利用简单的文字编辑软件就能够轻松地修改系统的各种配置了,非常方便。vi就是一种功能强大的文本编辑器,而vim则是高级版的vi,不但可以用不同颜色显示文字内容,还能进行诸如shell脚本、C语言程序编辑等功能,可以作为程序编辑器。(二)为什么要学习vi/vim?...转载 2019-01-16 16:41:15 · 10673 阅读 · 0 评论 -
Linux 性能查看
Linux系统出现了性能问题,一般我们可以通过top、iostat、free、vmstat等命令来查看初步定位问题。其中iostat可以给我们提供丰富的IO状态数据。 rrqm/s: 每秒进行 merge 的读操作数目。即 delta(rmerge)/swrqm/s: 每秒进行 merge 的写操作数目。即 delta(wmerge)/sr/s: 每秒完成的读...转载 2019-01-15 16:59:28 · 526 阅读 · 0 评论 -
linux top 详情
一.信息显示 Linux系统可以通过top命令查看系统的CPU、内存、运行时间、交换分区、执行的线程等信息。通过top命令可以有效的发现系统的缺陷出在哪里。是内存不够、CPU处理能力不够、IO读写过高….[root@foundation6 docker]# toptop - 21:31:26 up 15:16, 5 users, load average: 0.61, 0.82, 0...转载 2019-01-02 17:58:42 · 668 阅读 · 0 评论 -
Linux 进程线程查看
《线上linux系统故障排查之一:CPU使用率过高》《线上linux系统故障排查之二:内存占用过高》一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原因都是出现了死循环。下面我们将一步步定位问题,详尽的介绍每一步骤的相关知识。一、通过top命令定位占用cpu高的进程执行top命令得到以下结果: top命令执行结果 通过上图可以明显看出进程PID418...转载 2019-01-02 17:13:03 · 505 阅读 · 0 评论 -
Linux 常用命令
一个应用占用CPU很高,除了确实是计算密集型应用之外,通常原因都是出现了死循环。根据top命令,发现PID为28555的Java进程占用CPU高达200%,出现故障。通过ps aux | grep PID命令,可以进一步确定是tomcat进程出现了问题。但是,怎么定位到具体线程或者代码呢?首先显示线程列表:ps -mp pid -o THREAD,tid,time 找到了耗...转载 2019-01-02 16:23:51 · 103 阅读 · 0 评论 -
Linux CPU负载过高
---------------------------------------linux下如何定位代码问题-------------------------------1、先通过top命令找到消耗cpu很高的进程id假设是1232、执行top -p 123单独监控该进程3、在第2步的监控界面输入H,获取当前进程下的所有线程信息4、找到消耗cpu特别高的线程编号,假设是1235、...转载 2019-01-03 19:20:41 · 849 阅读 · 0 评论 -
linux top命令详解
Linux top命令的用法详细详解首先介绍top中一些字段的含义: VIRT:virtual memory usage 虚拟内存1、进程“需要的”虚拟内存大小,包括进程使用的库、代码、数据等2、假如进程申请100m的内存,但实际只使用了10m,那么它会增长100m,而不是实际的使用量RES:resident memory usage 常驻内存1、进程当前使用的内存大小,但不...转载 2018-12-21 10:05:41 · 276 阅读 · 0 评论 -
不同集群间数据cp,并且获取最新文件
#!/bin/sh###################. /etc/profile. ~/.bash_profile##################echo =====================================`date`===============================================SCRIPT_NAME=$(readli...原创 2018-08-30 14:00:57 · 421 阅读 · 0 评论 -
shell并发编程
在bash中,使用后台任务来实现任务的“多进程化”。在不加控制的模式下,不管有多少任务,全部都后台执行。也就是说,在这种情况下,有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况:实例一:正常情况脚本———————————————————————————–#!/bin/bashfor ((i=0;i<5;i++));do{sleep 1;echo 1>...转载 2018-08-27 16:25:33 · 824 阅读 · 0 评论 -
You have new mail in /var/spool/mail/root
有时在进入系统的时候经常提示You have new mail in /var/spool/mail/root你觉得烦人---解决方法:修改系统配置文件/etc/profile,告诉系统不要去检查邮箱.具体操作:命令行输入:echo "unset MAILCHECK" >> /etc/profile 【把unset MAILCHECK加到文件/etc/profile 的尾部】...转载 2018-08-27 10:42:12 · 294 阅读 · 0 评论 -
Shell 千分 逗号隔开
echo '123456789.12'|awk '{printf "%'"'"'18.2f\n",$0}' `echo 123456789.12 | sed '{:a;s/\(.*[0-9]\)\([0-9]\{3\}\)/\1,\2/;ta}'`原创 2018-08-16 16:35:17 · 1523 阅读 · 1 评论 -
hdfs常用命令
随机返回指定行数的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | shuf -n 5返回前几行的样本数据 hadoop fs -cat /test/gonganbu/scene_analysis_suggestion/* | head -100返回最后几行的样本数据 hadoop fs -cat /te...转载 2018-08-16 11:55:23 · 2349 阅读 · 0 评论 -
shell 快捷键
:1,$s/word1/word2/gc可以从第一行到最后一行的所有word1替换为word2,并且 在每处都需要确认y/n?:/word全文查找word一般模式下dd快捷删除行原创 2018-08-15 15:47:07 · 132 阅读 · 0 评论