- 博客(115)
- 资源 (2)
- 收藏
- 关注
原创 pycharm 调试pandas时遇到:Unable to display frame variables
File---->Settings----->Build,Execution,Deployment---->Python Debugger, 勾选 Gevent compatible参考:https://stackoverflow.com/questions/40865488/why-does-pycharm-say-unable-to-display-frame-var...
2018-11-27 20:51:19
6844
7
原创 pexpect 超时异常处理
TIMEOUTIf nothing matches an expected pattern then expect() will eventually raise a TIMEOUT exception. The default time is 30 seconds, but you can change this by passing a timeout argument toexpect(...
2018-11-04 20:35:35
4625
原创 numpy浮点转整数的精度损失问题
在numpy数组使用时发现了浮点数转整数可能会产生错误的问题,目前采用引入误差方式解决。1、问题代码:e = 0points = np.array([[100.10, 40.20], [100.30, 40.60], [100.20, 40.70]])lons = points[:, 0] - 100.0 +...
2018-08-22 12:03:42
5437
2
原创 python实现统计windows上目录(含子目录)大小
使用python实现递归统计目录(含子目录)大小#-*- coding:utf-8 -*-import osimport sysWINDOWS_EXCLUEDE=['$']def readable(size): if size >= 0 and size < 1024: return '%i' % size elif size >= 1024 an
2018-02-01 17:52:01
1621
转载 JVM优化之压缩普通对象指针(CompressedOops)与压缩类指针(CompressedClassPointers)
问题描述java程序部署在服务器(CentOS 64位)运行的时候,经常遭遇OOM,被服务器kill掉java主进程。为谨慎起见,未采用霸道的关闭OOM的方法(Linux内核OOM机制的详细分析),决定先优化JVM,减少内存使用。解决方法参照JVM优化之压缩普通对象指针中的描述,在64位机器上,由于64位JVM消耗的内存会比32位的大1.5倍,因为对象指针在64位架构下,长度会翻倍(更
2018-01-17 11:48:46
5598
原创 2018年,给自己加油!
不知不觉中2018年已过去半月有余,新年图新变,希望自己可以在各方面都进步一些,不管是生活、家庭、工作上,愿自己越来越好! 2017年疏于技术问题的整理记录,争取今年勤于自勉,多多加油!
2018-01-17 11:00:19
877
转载 解决error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No su
安装了python2.7,第一次执行时报错:error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such file or directory解决方法如下:1.编辑 vi /etc/ld.so.conf 如果是非root权限帐号登录
2017-08-08 14:02:42
5790
原创 linux下网盘umount时报错"device is busy"的解决办法
1、使用lsof |grep '/PATH/OF/BUSY-DEVICE' 查看打开文件的进程用户等,根据进程号杀掉进程2、使用fuser -m /PATH/OF/BUSY-DEVICE 查看占用设备的进程用户等,根据进程号杀掉进程3、使用mount -l /PATH/OF/BUSY-DEVICE mount -f
2017-07-26 11:23:47
740
转载 Docker私有仓库搭建
目录: 1、搭建需证书认证的Docker私有仓库 2、搭建需证书加用户名密码认证的Docker私有仓库 3、参考文档首先介绍一下Docker Registry(仓库),简单的理解,它是一个用于集中存放Docker镜像的地方。Docker Registry包括之前的V1,和现在的V2两个版本,分割线在docker 1.6.0版本
2017-03-31 13:57:16
1593
原创 rsync同步时在目的服务器上创建IP
rsync同步命令:rsync -auvzP '-e ssh -p 22' srcpath user@*.*.*.*:/despath当despath不存在的时候,同步出错。使用ssh免密码登录执行命令的方式,可以在目的服务器上创建出目录。ssh user@*.*.*.* "mkdir /despath"
2017-03-15 20:37:01
891
原创 Centos7 自动使用葵花8号卫星图片作为桌面壁纸
1、桌面管理(可选) 参考http://blog.chinaunix.net/uid-20620288-id-5750914.html 1) 隐藏桌面图标,比如主文件夹和垃圾桶 应用程序——工具——优化工具——桌面 然后将需要隐藏的去掉勾选即可2、下载https://github.com/ujnzxw/oh-my-earth中的程序
2017-03-14 10:20:18
3730
转载 Linux上gitlab迁移
具体操作步骤参考:https://segmentfault.com/a/1190000002439923主要要点:1)在新旧两台服务器上要保持相同的gitlab版本。用yum安装的时候,指定版本号即可 2)在新服务器上从备份恢复的时候,要制定备份的全文件名或者文件名的一部分,视具体版本而异
2017-02-24 10:11:07
794
原创 /var/spool/postfix/maildrop 下文件堆积
/var/spool/postfix/maildrop目录下文件堆积,导致磁盘空间不足分析发现/var/spool/postfix/maildrop目录下的文件主要是crond产生的,在将crond的配置文件修改为MAILTO=""后,并重启crond服务后,maildrop目录下仍有文件堆积。后来参看CROND出错导致/var/spool/postfix/maildrop/堆积中
2016-10-24 10:19:00
2743
原创 crontab不运行问题
同事请求协助解决crontab不能运行的问题,问题蹊跷,现将解决步骤记录如下:1、查看crond服务是否启动。 发现从容服务未能启动,遂启动该服务。但是问题扔没解决,定时任务仍然没有执行。2、在同一用户下,加入测试脚本,用于测试[vm@localhost ~]$ crontab -l* * * * * /home/vm/test.sh
2016-09-23 17:54:55
795
原创 Anaconda中sklearn包不全
起因:一开始在一台服务器上单独安装了sklearn,用于训练模型,生成pkl文件。后来由于发现anaconda中集成了包含sklearn在内测好多安装包,于是打算将程序移植到anaconda上,并且保留原先的模型pkl文件。结果在调试的时候发现了错误。主要是在加载pkl文件的时候,出现错误。排查过程:根据错误信息,查找对比anaconda中的skle
2016-09-18 12:41:24
6731
1
原创 python读取数值文本数据比较--一般读取方式 Vs numpy
一、f=open(xfile,'r')lines=f.readlines()slines=[line.split() for line in lines]X0 = np.array(slines, dtype=np.float64)二、X0 = np.loadtxt(xfile)第一种方法在Z9002数据上(3G)跑了 215.60秒第二种方法跑了726.
2016-08-11 10:46:09
2049
原创 SMOTE python实现
from sklearn.neighbors import NearestNeighborsfrom random import choiceX = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1],
2016-08-10 09:11:30
6733
转载 linux 高效的文件系统事件监控 内核级解析方案 inotify
转载 http://www.lvtao.net/config/inotify.htmllinux 高效的文件系统事件监控 内核级解析方案 inotify安装inotify-tools (http://inotify-tools.sourceforge.net) 下载源码包wget http://github.com/downloads/rvoicilas/inotify
2016-07-28 09:22:33
4174
原创 linux关闭tcp连接工具--killcx
http://killcx.sourceforge.net/Killcx is a Perl script to close a TCP connection under Linux, whatever its state is (half-open, established, waiting or closing state).killcx是一个在linux下可以关闭TCP连接的脚本
2016-07-12 16:13:08
8261
原创 Common data model相关标准
1、 NUWG标准 http://www.unidata.ucar.edu/software/netcdf/NUWG/2、CF标准 http://cfconventions.org/cf-conventions/cf-conventions.html#coordinate-system
2016-06-16 14:22:17
800
原创 CentOS7 上安装vncserver遇到的问题
1、在/lib/systemd/system下面有vncserver@.service,可以按照里面的说明将其复制修改2、要配置vnc的service,除了完成.service中的要求外,还需要以下操作: (1)将.service文件中的Type改为simple (2)利用vncpasswd命令设置密码 (3)若有则删除相关临时文件
2016-06-12 22:08:25
2771
原创 Linux上查看内存个数和硬盘个数
参考 http://blog.sina.com.cn/s/blog_69cc2f0b0100wk5g.html参考1. 查看内存个数以及每个内存的大小:dmidecode|grep -P -A5 "Memory\s+Device"|grep Size|grep -v Range2.查看做raid之前的硬盘信息MegaCli下载http://support.lenovo.
2016-05-30 16:13:32
15542
原创 雷达波段划分
雷达波段划分 最早用于搜索雷达的电磁波波长为23cm,这一波段被定义为L波段(英语Long的字头),后来这一波段的中心波长变为22cm。当波长为10cm的电磁波被使用后,其波段被定义为S波段(英语Short的字头,意为比原有波长短的电磁波)。 在主要使用3cm电磁波的火控雷达出现后,3cm波长的电磁波被称为X波段,因为
2016-04-07 15:25:44
7889
原创 com.typesafe.config加载任意位置的配置文件
typesafe下的config包可以用来读取配置文件,支持多种形式。参考:https://github.com/typesafehub/config但是,若使用ConfigFactory.load()加载配置文件,只能加载src/main/resources目录下的application.conf文件,不够灵活。通过研究发现,可以使用val c = Confi
2016-04-05 21:42:50
11523
原创 CentOS6.5上python-mysql环境的安装问题解决
使用命令python setup.py install 进行安装时,出现了一下问题:1、报错:致命错误: Python.h:没有那个文件或目录解决方法:安装python-develyum install python-devel2、_mysql.c:44:23: 错误:my_config.h:没有那个文件或目录解决方法:安装mysql-develyum in
2016-03-21 08:58:59
951
原创 CenOS6.5上matplotlib的show函数不能显示图片的问题
参考链接:https://forum.suse.org.cn/viewtopic.php?f=24&t=2258http://www.cnblogs.com/emanlee/p/4384233.htmlhttp://zhidao.baidu.com/link?url=OIcDXb4WuTLAsy24vA6H6bjh2SbEvwLRpeQ6AkoxFUsB42D8lO2Dvg6aWQcW
2016-03-16 22:44:57
1340
原创 PyCharm4.5.1 中文支持
1、首先设置File -》 Settings -》Editor -》File Encodings中的编码为utf-82、在Python文件中的首行或第二行中指定编码方式:# -*- coding: utf-8 -*-然后在中文面前加u,例如:name = u"中文"
2016-02-29 18:20:29
984
转载 解决FTP不支持软连接
http://my.oschina.net/FACEqiu/blog/161099mount --bind /opt/data1 /data/data1 左挂载到右 占左面空间
2016-02-25 15:26:43
3923
原创 NetCDF中scale_factor和add_offset的使用
参考连接:http://ferret.wrc.noaa.gov/noaa_coop/coop_cdf_profile.htmlscale_factor - If present for a variable, the data are to be multiplied by this factor after the data are read by the application t
2016-01-29 17:25:53
9835
原创 CentOS6.5网络配置出错:Device not managed by NetworkManager or unavailable
安装完CentOS6.5之后,用root用户登录到图形界面下,通过右上角的网络图标配置网络连接,不能连接:提示bringing up interface em4 error:Connection activation failed: Device not managed by NetworkManager or unavailable。利用网上的方法试了一下:http://ww
2016-01-25 11:43:30
4275
原创 最小二乘法拟合方位角与径向速度的关系
# -*- coding: GB2312 -*-"""Created on Thu Jan 21 20:56:24 2016@author: Administrator"""import numpy as npfrom scipy.optimize import leastsqimport pylab as plimport sysdef func(
2016-01-22 17:24:39
1301
原创 控制scala并行集合的并发数量
参考:http://stackoverflow.com/questions/8936949/how-to-control-the-concurrency-on-scala-parallel-collectionhttp://stackoverflow.com/questions/5424496/scala-parallel-collections-degree-of-paralleli
2016-01-08 10:05:37
2305
原创 scala REPL中加载第三方jar包
主要在启动scala的时候通过classpath参数加载指定的jar包,加载方法举例:scala -classpath toolsUI-4.5.jar test.scalatest.scala源码:import java.io.Fileimport java.net.URLClassLoaderimport java.net.URLimport ucar.un
2016-01-07 18:09:13
5061
原创 gcc安装步骤
https://gcc.gnu.org/wiki/InstallingGCC主要安装命令:tar xzf gcc-4.6.2.tar.gzcd gcc-4.6.2./contrib/download_prerequisitescd ..mkdir objdircd objdir$PWD/../gcc-4.6.2/configure --prefix=$HOME/gcc-4.
2016-01-05 09:34:33
789
原创 Inotify测试(2):inotifywait 与 PyInotify 监控层级比较
(1)inotifywait -e create,delete,modify,move -mrq ./fold可以监控到fold的子文件夹的创建以及子文件夹中文件的创建(2)PyInotify可以监控到fold的子文件夹的创建,但是监控不到子文件中文件的创建
2015-12-30 16:27:25
1186
转载 Linux使用Shell脚本实现ftp的自动上传下载
1. ftp自动登录批量下载文件。 #####从ftp服务器上的/home/data 到 本地的/home/databackup#####!/bin/bashftp -nopen 192.168.1.171user guest 123456binarycd /home/datalcd /home/databackuppromptmge
2015-12-09 16:29:50
2504
转载 Hadoop集群服务器以及相关硬件选择的一些认识
转自:http://blog.csdn.net/cnweike/article/details/22796107最近由于运行了两年多的Hadoop集群,硬盘故障的现象愈加频繁,故开始着手更换集群磁盘,但是所有的DataNode的磁盘都不是热插拔的,导致,必须关机,卸开服务器然后更换磁盘。经过这次之后,我想非常有必要专门总结一下Hadoop集群的服务器选择问题
2015-12-07 21:57:28
933
原创 Scala yield unit 测试
def test1(): Unit ={ val a = Array(0,1,2,3,4,5,6) val result = ((for(i yield { if(i > 4) Array("aaa","bbb") }).filter(p => p != BoxedUnit.UNIT)).map(f => f.asInstanceOf[Array[String]
2015-11-12 14:55:20
678
The C Programming Lauguage(英文版).chm
2010-10-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人