系统相关
文章平均质量分 57
LegenDavid
这个作者很懒,什么都没留下…
展开
-
CentOS系统Yum提示Segmentation fault
遇到这个错误通常是因为安装了两个版本的libz(系统默认的是1.2.3)可用命令查看[plain] view plaincopy[root@dev1 lib]# ldconfig -v|grep libz ldconfig: /etc/ld.so.conf.d/kernelcap-2.6.18-308.16.1.el5.conf转载 2015-11-24 10:51:19 · 2158 阅读 · 0 评论 -
gcc中动态库和静态库的链接顺序
so文件:动态库a文件: 静态库exe文件:可执行程序(linux下以文件属性来标示是否是可执行文件,与后缀名无关)经过自己写的一些测试程序,大致了解了下gcc中链接顺序问题,总结出以下几点:1,动态库中可以包含另一个静态库,通过参数 -lxxx 把静态库libxxx.a加入so文件中,这样so文件中 就包含了libxxx.a的所有实现。当然,如果不包含libxxx.a转载 2017-10-26 10:11:55 · 573 阅读 · 0 评论 -
shell 脚本中set-x 与set+x的区别
linux shell 脚本编写好要经过漫长的调试阶段,可以使用sh -x 执行。但是这种情况在远程调用脚本的时候,就有诸多不便。又想知道脚本内部执行的变量的值或执行结果,这个时候可以使用在脚本内部用 set -x 。set去追踪一段代码的显示情况,执行后在整个脚本有效set -x 开启 set +x关闭set -o 查看转载 2017-10-26 10:16:10 · 1019 阅读 · 0 评论 -
gdb fork 多进程调试
实例代码[cpp] view plain copy 1 #include 2 #include 3 int main () 4 { 5 pid_t fpid; "color:#3333ff;">6 printf("aaaaaaaaaaaaaaaaaa!\n"); 7转载 2017-10-26 11:29:33 · 440 阅读 · 0 评论 -
linux下so文件的runtime查找顺序
It's becoming more and more common these days to link everything against shared libraries, and in fact many software packages (Tcl and Cyrus SASL come to mind) basically just don't work properly stati转载 2017-10-26 10:32:53 · 663 阅读 · 0 评论 -
使用ssh公钥实现免密码登录
ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对,下面我以CentOS为例。有机器A(192.168.1.155),B(192.168.1.181)。现想A通过ssh免密码登录到B。首先以root账户登陆为例。1.在A机下生成公钥/私钥对。[root@A ~]# ssh-keygen -t rsa -P ''-原创 2016-12-08 16:32:58 · 421 阅读 · 0 评论 -
linux进程内存到底怎么看 剖析top命令显示的VIRT RES SHR值
http://yalung929.blog.163.com/blog/static/203898225201212981731971/ http://www.fuzhijie.me/?p=741 引 言: top命令作为Linux下最常用的性能分析工具之一,可以监控、收集进程的CPU、IO、内存使用情况。比如我们可以通过top命令获得一个进程使用了多少虚拟内存(VIRT)、物理内转载 2016-09-14 14:45:24 · 8572 阅读 · 1 评论 -
shell技巧汇总
检查并创建目录[ -d $back_path/$path_tail ] || mkdir $back_path/$path_tail原创 2018-01-05 18:19:33 · 271 阅读 · 0 评论 -
python 中 os._exit(), sys.exit(), exit() 的区别是什么?
1. sys.exit(n) 退出程序引发SystemExit异常, 可以捕获异常执行些清理工作. n默认值为0, 表示正常退出. 其他都是非正常退出. 还可以sys.exit("sorry, goodbye!"); 一般主程序中使用此退出.2. os._exit(n), 直接退出, 不抛异常, 不执行相关清理工作. 常用在子进程的退出.3. exit()/quit(), 跑出System转载 2017-07-17 12:06:15 · 452 阅读 · 0 评论 -
Python+Hadoop Streaming实现MapReduce(word count)
1. hadoop本身是用java写的,所以用java写mapreduce是比较合适的,然而hadoop提供了Streaming的方式,让很多语言可以来写mapreduce,下面就介绍如何用python写一个mapreduce程序,我们就从最简单的word count写起吧2. word count是比较简单的,所以我们直接上代码,3. map.py[pyt转载 2015-12-08 15:01:59 · 895 阅读 · 0 评论 -
hadoop streaming的job中出现IOError: [Errno 32] Broken pipe
通过查看失败task的counter发现没有input数据再看task的log找到具体的数据片,发现数据中某一行有8000w个字符,删除改行就好了初步估计是标准输入输出有长度限制或者hadoop的streaming有限制,暂时未确定原创 2017-07-13 11:06:57 · 2436 阅读 · 0 评论 -
yum出现“No module named yum”错误解决方法
安装了一个Python2.7,隔天发现yum无法使用,报错信息如下,应该是系统是使用的默认的python2.4的版本------------------------------------------------------------------------------------------------There was a problem importing one of t转载 2015-11-24 11:06:30 · 1617 阅读 · 0 评论 -
GCC优化选项简单说明
最近一直质疑gcc的-O优化选项究竟做了什么,因此,在网上找了好多相关的资料,但都没有明确的进行说明,以下是网上一些资料的汇总和偶自己很水很水的翻译,模模糊糊的理解了,-O的一些优化功能,希望大牛们给于进一步的解释,和纠错~~~~谢谢~!gcc默认提供了5级优化选项的集合:-O0:无优化(默认)-O和-O1:使用能减少目标文件大小以及执行时间并且不会使编译时间明转载 2015-11-27 12:21:15 · 537 阅读 · 0 评论 -
GDB动态库搜索路径
笔记:当GDB无法显示so动态库的信息或者显示信息有误时,通常是由于库搜索路径错误导致的,可使用set sysroot、set solib-absolute-prefix、set solib-search-path来指定库搜索路径。1. set sysroot 与 set solib-absolute-prefix 是同一条命令,实际上,set sysroot是set solib-转载 2017-05-04 15:11:19 · 1128 阅读 · 0 评论 -
每天自动爬取momentum壁纸并保存
#!/usr/bin/pythonimport osimport jsonimport urllib2import urllibimport timedef auto_down(url, filename): try: urllib.urlretrieve(url, filename) except urllib.ContentTooShortEr原创 2017-05-27 12:11:24 · 3565 阅读 · 0 评论 -
GDB STL vector打印
1. update your gdbgdb 7.0版本之后,如果在gdb中调用: (gdb) print myVector将会得到如下结果: $1 = std::vector of length 3, capacity 4 = {10, 20, 30} 2. GDB STL Utilities转载 2017-04-27 18:26:00 · 675 阅读 · 0 评论 -
Spark2.1.0入门:Spark的安装和使用
Spark2.1.0入门:Spark的安装和使用 林子雨老师 2017年2月19日 (updated: 2017年3月22日) 9278【版权声明】博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载![返回Spark教程首页]Spark可以独立安装使用,也可以和Hadoop一起安装使用。本教程中,我们采用和Hadoop一起安装使用,这样,就可以让Spark使用H转载 2017-07-11 17:10:34 · 3234 阅读 · 0 评论 -
spark参数调优
摘要 1.num-executors 2.executor-memory 3.executor-cores 4.driver-memory 5.spark.default.parallelism 6.spark.storage.memoryFraction 7.spark.shuffle.memoryFraction转载 2017-07-12 12:41:02 · 403 阅读 · 0 评论 -
修改/proc/sys/kernel/sem,但保存的时候保存不了,报错:Fsync failed
这是VI的问题用vi编辑一个文件的时候,vi首先为这个文件创建一个副本,这个副本通常命名为 .your_file_name.swp当结束编辑,选择保存的时候,vi用这个副本文件替换掉原文件。proc文件系统下的文件都是内存中的影像,显然不支持此种编辑方式。 修改办法 echo value >yourfile 原文地址:http://bbs.chi转载 2017-07-12 16:26:18 · 1590 阅读 · 0 评论 -
在centos6环境下安装TensorFlow
The official-released binary packages of TensorFlow are built for newer version of Linux distros. Here is how to build TensorFlow binary package for CentOS 6.Install DependenciesAdmin pr转载 2017-06-12 16:18:09 · 787 阅读 · 0 评论 -
hadoop 误删目录的恢复方法
HDFS误删数据怎么办?(所谓人有失手马有失蹄,在处理HDFS中的数据时总会遇到一些“小”意外的)答:别担心,正常情况下,它并没有真正的删除,而是暂时先乖乖的躺在回收站里,大约20小时后才会被彻底的清理干净;当然如果在删除操作时加上了“-skipTrash”参数,那么这份数据是无法恢复的,因此我们这边建议不要随意随意使用“-skipTrash”参数。 那怎么把数据从回收站里原创 2018-01-23 15:23:40 · 3117 阅读 · 0 评论 -
Jenkins入门系列之——01第一章 Jenkins是什么?
说明:Jenkins折腾了好几个月了,打算写个系列记录下。有时间会尽量更新的。第一章 Jenkins是什么?Jenkins 是一个可扩展的持续集成引擎。主要用于:l 持续、自动地构建/测试软件项目。l 监控一些定时执行的任务。Jenkins拥有的特性包括:l 易于安装-只要把jenkins.war部署到servlet容器,不需要数原创 2015-11-16 10:37:01 · 406 阅读 · 0 评论 -
spark reparation和coalesce
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int,shuffle:Boolean=false):RDD[T] 他们两个都是RDD的分区进行重新划分,repartition只是coalesce接口中shuffle为true的简易实现,(假设RDD有N个分区,需要重新划分成M个分区) 1、N小于M 一般情况下N个分区有数据...转载 2018-05-29 17:58:45 · 1002 阅读 · 0 评论 -
Spark面对OOM问题的解决方法及优化总结
转载请保持完整性并注明来源链接: http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的OOM问题不外乎以下两种情况map执行中内存溢出shuffle后内存溢出 map执行中内存溢出代表了所有map类型的操作,包括:flatMap,filter,mapPatitions等。shuffle后内存溢出的shuff...转载 2018-06-05 22:12:41 · 1109 阅读 · 0 评论 -
不同数据库中查询前几条记录的用法(SQL Server/Oracle/Postgresql)
SQL在不同数据库中查询前几条记录的用法分类1. orACLE Select * FROM TABLE1 Where ROWNUM<=N2. INFORMIX Select FIRST N * FROM TABLE13. DB2 Select * ROW_NUMBER() OVER(ORDER BY COL1 DESC) AS ROWNUM Where ROWNUM<=N 或者Sele...转载 2018-05-30 20:47:10 · 1399 阅读 · 0 评论 -
git merge 和 git rebase 小结
git merge是用来合并两个分支的。git merge b # 将b分支合并到当前分支同样 git rebase b,也是把 b分支合并到当前分支-----------------------------------他们的 原理 如下:假设你现在基于远程分支"origin",创建一个叫"mywork"的分支。$ git checkout -b mywork origin假设远程分支"...转载 2018-06-06 17:13:08 · 816 阅读 · 0 评论 -
常见编程命名缩写
命名缩写通用缩写翻译控件缩写翻译addressaddr地址calendarcdr日历applicationapp应用程序messageDialogmsgdlg消息框asynchronizationasyn异步drawerdrw抽屉averageavg平均数buttonGroupbtngrp按钮分组bitmapbmp位图checkBoxchk复选框bufferbuf缓冲区containercntr容...转载 2018-06-21 16:33:50 · 2448 阅读 · 0 评论 -
Spark cache的用法及其误区分析
Spark cache的用法及其误区:一、Cache的用法注意点:(1)cache之后一定不能立即有其它算子,不能直接去接算子。因为在实际工作的时候,cache后有算子的话,它每次都会重新触发这个计算过程。(2)cache不是一个action,运行它的时候没有执行一个作业。(3)cache缓存如何让它失效:unpersist,它是立即执行的。persist是lazy级别的(没有计算),unpers...转载 2018-06-01 14:35:55 · 2276 阅读 · 0 评论 -
linux中给 alias 添加命令行参数
定义 alias 时,有用命令行参数的需求。但通过查证文档的结果是,alias 根本就不支持传递命令行参数。不过,我们可以变通的解决这个问题,即定义函数。 代码如下复制代码alias test='test() { echo $1; };test'[hadoop@NN069186 dev]$ source ~/.bashrc [hadoop@NN069186 dev]$ test abc def g...转载 2018-06-01 17:45:35 · 11073 阅读 · 0 评论 -
Spark性能优化指南——基础篇
http://mp.weixin.qq.com/s?__biz=MjM5NDMwNjMzNA==&mid=2651805828&idx=1&sn=2f413828d1fdc6a64bdbb25c51508dfc&scene=2&srcid=0519iChOETxAx0OeGoHnm7Xk&from=timeline&isappinstalle...转载 2018-07-05 15:22:27 · 957 阅读 · 0 评论 -
Spark性能优化指南——高级篇
前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的...转载 2018-07-05 15:51:56 · 888 阅读 · 0 评论 -
Hadoop开启关闭调试信息
修改$HADOOP_CONF_DIR/log4j.properties文件 hadoop.root.logger=ALL,consoleor:开启:export HADOOP_ROOT_LOGGER=DEBUG,console关闭:export HADOOP_ROOT_LOGGER=INFO,console实时查看和修改Hadoop日志级别Hadoop的日志界面可以通过Hadoop命令和Web界面...转载 2018-05-29 17:38:34 · 2105 阅读 · 0 评论 -
【Spark系列2】reduceByKey和groupByKey区别与用法
在spark中,我们知道一切的操作都是基于RDD的。在使用中,RDD有一种非常特殊也是非常实用的format——pair RDD,即RDD的每一行是(key, value)的格式。这种格式很像Python的字典类型,便于针对key进行一些处理。针对pair RDD这样的特殊形式,spark中定义了许多方便的操作,今天主要介绍一下reduceByKey和groupByKey,因为在接下来讲解《在sp...转载 2018-05-22 18:02:30 · 1108 阅读 · 0 评论 -
gmp4.3.2 安装时 ./configure报错: error: could not find a working compiler
今天在虚拟机上想安装gcc4.9.3但貌似有三个依赖,那就顺序装吧。装到gmp的时候。怎么都configure不过去,各种查各种不行,但是我之前在别的机器装成功过。刚开始一直以为是某个编译程序没有装,后来仔细对比了通过的和不通过的。发现问题所在了。如下:这个是错误的:checking build system type... pentiumm-unknown-linux-gnuchecking h...转载 2018-04-25 19:52:34 · 11647 阅读 · 7 评论 -
Jenkins入门系列之——02第二章 Jenkins安装与配置
写的我想吐血,累死了。网页看着不爽的,自己去下载PDF。有问题请留言!Jenkins入门系列之——03PDF文档下载第二章 Jenkins安装与配置2 Jenkins安装在最简单的情况下,Jenkins 只需要两个步骤:1.下载最新的版本(一个 WAR 文件)。Jenkins官方网址: http://Jenkins-ci.org/2.原创 2015-11-16 10:37:57 · 590 阅读 · 0 评论 -
AIX, Linux下将脚本放到后台执行——加nohup与不加nohup的区别
对于Linux下来说,当在系统上执行下面的命令,将test.sh脚本放到后台执行/location/test.sh &此时,分两种情况考虑问题,一:继续执行exit命令退出当前session, 则 test.sh这个脚本仍然在Linux系统里面运行,二:不执行exit命令退出,而直接断开当前连接,则 test.sh脚本会立即退出如果使用下面命令,将test.sh原创 2015-09-24 16:33:39 · 3408 阅读 · 0 评论 -
深入理解Linux修改hostname
当我觉得对Linux系统下修改hostname已经非常熟悉的时候,今天碰到了几个个问题,这几个问题给我好好上了一课,很多知识点,当你觉得你已经掌握的时候,其实你了解的还只是皮毛。技术活,切勿浅尝则止!实验环境:Red Hat Enterprise Linux Server release 5.7 (Tikanga) ,其它版本Linux可能有所不同。请以实际环境为准。其实我多次修改过hos原创 2015-11-19 16:17:43 · 564 阅读 · 0 评论 -
shell不能执行su 后的脚本
问题:在shell脚本中执行“su – 用户名”后,脚本终止执行,并且切换到su 中指定用户名的交互式界面 现象:我在root中执行一个脚本,但是其中的一些命令或脚本必须用oracle用户来执行。,[html] view plaincopyprint?[root@HZ-ITF-01 cron.d]# vi /data/itf/app/oracle/sync/test.sh原创 2015-11-20 15:29:14 · 1722 阅读 · 0 评论 -
python 进程间通信
注意一点,进程间通信,尤其是使用manager的时候,性能会受限于manager进程,所以应该尽量减少写manager的情况和频率,比如每个进程应该优先把结果存在本地进程然后统一写manager等方式python multiprocessingmultiprocessing在2.6才开始使用multiprocessing 是一个使用方法类似threadi原创 2017-08-07 16:40:06 · 546 阅读 · 0 评论 -
mail命令发送html格式的电子邮件
如果没有mail命令,使用yum安装:[plain] view plain copy#yum install -y mailx 要发送html格式邮件,关键是在邮件头部指定内容格式,如下:[plain] view plain copy$mail -s "$(echo -e转载 2018-01-10 17:40:04 · 6475 阅读 · 0 评论