- 博客(115)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 pycharm 调试pandas时遇到：Unable to display frame variables
File---->Settings----->Build,Execution,Deployment---->Python Debugger, 勾选 Gevent compatible参考：https://stackoverflow.com/questions/40865488/why-does-pycharm-say-unable-to-display-frame-var...
2018-11-27 20:51:19
6580
7
原创 pexpect 超时异常处理
TIMEOUTIf nothing matches an expected pattern then expect() will eventually raise a TIMEOUT exception. The default time is 30 seconds, but you can change this by passing a timeout argument toexpect(...
2018-11-04 20:35:35
4459
原创 numpy浮点转整数的精度损失问题
在numpy数组使用时发现了浮点数转整数可能会产生错误的问题，目前采用引入误差方式解决。1、问题代码：e = 0points = np.array([[100.10, 40.20], [100.30, 40.60], [100.20, 40.70]])lons = points[:, 0] - 100.0 +...
2018-08-22 12:03:42
5349
2
原创 python实现统计windows上目录（含子目录）大小
使用python实现递归统计目录（含子目录）大小#-*- coding:utf-8 -*-import osimport sysWINDOWS_EXCLUEDE=['$']def readable(size): if size >= 0 and size < 1024: return '%i' % size elif size >= 1024 an
2018-02-01 17:52:01
1583
转载 JVM优化之压缩普通对象指针（CompressedOops）与压缩类指针（CompressedClassPointers）
问题描述java程序部署在服务器（CentOS 64位）运行的时候，经常遭遇OOM，被服务器kill掉java主进程。为谨慎起见，未采用霸道的关闭OOM的方法（Linux内核OOM机制的详细分析），决定先优化JVM，减少内存使用。解决方法参照JVM优化之压缩普通对象指针中的描述，在64位机器上，由于64位JVM消耗的内存会比32位的大1.5倍，因为对象指针在64位架构下，长度会翻倍（更
2018-01-17 11:48:46
5536
原创 2018年，给自己加油！
不知不觉中2018年已过去半月有余，新年图新变，希望自己可以在各方面都进步一些，不管是生活、家庭、工作上，愿自己越来越好! 2017年疏于技术问题的整理记录，争取今年勤于自勉，多多加油！
2018-01-17 11:00:19
867
转载 解决error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No su
安装了python2.7，第一次执行时报错：error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such file or directory解决方法如下：1.编辑 vi /etc/ld.so.conf 如果是非root权限帐号登录
2017-08-08 14:02:42
5345
原创 linux下网盘umount时报错"device is busy"的解决办法
1、使用lsof |grep '/PATH/OF/BUSY-DEVICE' 查看打开文件的进程用户等，根据进程号杀掉进程2、使用fuser -m /PATH/OF/BUSY-DEVICE 查看占用设备的进程用户等，根据进程号杀掉进程3、使用mount -l /PATH/OF/BUSY-DEVICE mount -f
2017-07-26 11:23:47
711
转载 Docker私有仓库搭建
目录： 1、搭建需证书认证的Docker私有仓库 2、搭建需证书加用户名密码认证的Docker私有仓库 3、参考文档首先介绍一下Docker Registry（仓库），简单的理解，它是一个用于集中存放Docker镜像的地方。Docker Registry包括之前的V1，和现在的V2两个版本，分割线在docker 1.6.0版本
2017-03-31 13:57:16
1583
原创 rsync同步时在目的服务器上创建IP
rsync同步命令：rsync -auvzP '-e ssh -p 22' srcpath user@*.*.*.*:/despath当despath不存在的时候，同步出错。使用ssh免密码登录执行命令的方式，可以在目的服务器上创建出目录。ssh user@*.*.*.* "mkdir /despath"
2017-03-15 20:37:01
882
原创 Centos7 自动使用葵花8号卫星图片作为桌面壁纸
1、桌面管理（可选） 参考http://blog.chinaunix.net/uid-20620288-id-5750914.html 1） 隐藏桌面图标，比如主文件夹和垃圾桶 应用程序——工具——优化工具——桌面 然后将需要隐藏的去掉勾选即可2、下载https://github.com/ujnzxw/oh-my-earth中的程序
2017-03-14 10:20:18
3706
转载 Linux上gitlab迁移
具体操作步骤参考：https://segmentfault.com/a/1190000002439923主要要点：1）在新旧两台服务器上要保持相同的gitlab版本。用yum安装的时候，指定版本号即可 2）在新服务器上从备份恢复的时候，要制定备份的全文件名或者文件名的一部分，视具体版本而异
2017-02-24 10:11:07
787
原创 /var/spool/postfix/maildrop 下文件堆积
/var/spool/postfix/maildrop目录下文件堆积，导致磁盘空间不足分析发现/var/spool/postfix/maildrop目录下的文件主要是crond产生的，在将crond的配置文件修改为MAILTO=""后，并重启crond服务后，maildrop目录下仍有文件堆积。后来参看CROND出错导致/var/spool/postfix/maildrop/堆积中
2016-10-24 10:19:00
2721
原创 crontab不运行问题
同事请求协助解决crontab不能运行的问题，问题蹊跷，现将解决步骤记录如下：1、查看crond服务是否启动。 发现从容服务未能启动，遂启动该服务。但是问题扔没解决，定时任务仍然没有执行。2、在同一用户下，加入测试脚本，用于测试[vm@localhost ~]$ crontab -l* * * * * /home/vm/test.sh
2016-09-23 17:54:55
776
原创 Anaconda中sklearn包不全
起因：一开始在一台服务器上单独安装了sklearn，用于训练模型，生成pkl文件。后来由于发现anaconda中集成了包含sklearn在内测好多安装包，于是打算将程序移植到anaconda上，并且保留原先的模型pkl文件。结果在调试的时候发现了错误。主要是在加载pkl文件的时候，出现错误。排查过程：根据错误信息，查找对比anaconda中的skle
2016-09-18 12:41:24
6691
1
原创 python读取数值文本数据比较--一般读取方式 Vs numpy
一、f=open(xfile,'r')lines=f.readlines()slines=[line.split() for line in lines]X0 = np.array(slines, dtype=np.float64)二、X0 = np.loadtxt(xfile)第一种方法在Z9002数据上（3G）跑了 215.60秒第二种方法跑了726.
2016-08-11 10:46:09
2036
原创 SMOTE python实现
from sklearn.neighbors import NearestNeighborsfrom random import choiceX = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1],
2016-08-10 09:11:30
6689
转载 linux 高效的文件系统事件监控 内核级解析方案 inotify
转载 http://www.lvtao.net/config/inotify.htmllinux 高效的文件系统事件监控 内核级解析方案 inotify安装inotify-tools (http://inotify-tools.sourceforge.net) 下载源码包wget http://github.com/downloads/rvoicilas/inotify
2016-07-28 09:22:33
4125
原创 linux关闭tcp连接工具--killcx
http://killcx.sourceforge.net/Killcx is a Perl script to close a TCP connection under Linux, whatever its state is (half-open, established, waiting or closing state).killcx是一个在linux下可以关闭TCP连接的脚本
2016-07-12 16:13:08
8222
原创 Common data model相关标准
1、 NUWG标准 http://www.unidata.ucar.edu/software/netcdf/NUWG/2、CF标准 http://cfconventions.org/cf-conventions/cf-conventions.html#coordinate-system
2016-06-16 14:22:17
779
原创 CentOS7 上安装vncserver遇到的问题
1、在/lib/systemd/system下面有[email protected]，可以按照里面的说明将其复制修改2、要配置vnc的service，除了完成.service中的要求外，还需要以下操作： （1）将.service文件中的Type改为simple （2）利用vncpasswd命令设置密码 （3）若有则删除相关临时文件
2016-06-12 22:08:25
2738
原创 Linux上查看内存个数和硬盘个数
参考 http://blog.sina.com.cn/s/blog_69cc2f0b0100wk5g.html参考1. 查看内存个数以及每个内存的大小：dmidecode|grep -P -A5 "Memory\s+Device"|grep Size|grep -v Range2.查看做raid之前的硬盘信息MegaCli下载http://support.lenovo.
2016-05-30 16:13:32
15343
原创 雷达波段划分
雷达波段划分 最早用于搜索雷达的电磁波波长为23cm，这一波段被定义为L波段（英语Long的字头），后来这一波段的中心波长变为22cm。当波长为10cm的电磁波被使用后，其波段被定义为S波段(英语Short的字头，意为比原有波长短的电磁波）。 在主要使用3cm电磁波的火控雷达出现后，3cm波长的电磁波被称为X波段，因为
2016-04-07 15:25:44
7688
原创 com.typesafe.config加载任意位置的配置文件
typesafe下的config包可以用来读取配置文件，支持多种形式。参考：https://github.com/typesafehub/config但是，若使用ConfigFactory.load()加载配置文件，只能加载src/main/resources目录下的application.conf文件，不够灵活。通过研究发现，可以使用val c = Confi
2016-04-05 21:42:50
11492
原创 CentOS6.5上python-mysql环境的安装问题解决
使用命令python setup.py install 进行安装时，出现了一下问题：1、报错：致命错误： Python.h：没有那个文件或目录解决方法：安装python-develyum install python-devel2、_mysql.c:44:23: 错误：my_config.h：没有那个文件或目录解决方法：安装mysql-develyum in
2016-03-21 08:58:59
937
原创 CenOS6.5上matplotlib的show函数不能显示图片的问题
参考链接：https://forum.suse.org.cn/viewtopic.php?f=24&t=2258http://www.cnblogs.com/emanlee/p/4384233.htmlhttp://zhidao.baidu.com/link?url=OIcDXb4WuTLAsy24vA6H6bjh2SbEvwLRpeQ6AkoxFUsB42D8lO2Dvg6aWQcW
2016-03-16 22:44:57
1326
原创 PyCharm4.5.1 中文支持
1、首先设置File -》 Settings -》Editor -》File Encodings中的编码为utf-82、在Python文件中的首行或第二行中指定编码方式：# -*- coding: utf-8 -*-然后在中文面前加u，例如：name = u"中文"
2016-02-29 18:20:29
967
转载 解决FTP不支持软连接
http://my.oschina.net/FACEqiu/blog/161099mount --bind /opt/data1 /data/data1 左挂载到右 占左面空间
2016-02-25 15:26:43
3883
原创 NetCDF中scale_factor和add_offset的使用
参考连接：http://ferret.wrc.noaa.gov/noaa_coop/coop_cdf_profile.htmlscale_factor - If present for a variable, the data are to be multiplied by this factor after the data are read by the application t
2016-01-29 17:25:53
9650
原创 CentOS6.5网络配置出错：Device not managed by NetworkManager or unavailable
安装完CentOS6.5之后，用root用户登录到图形界面下，通过右上角的网络图标配置网络连接，不能连接：提示bringing up interface em4 error：Connection activation failed: Device not managed by NetworkManager or unavailable。利用网上的方法试了一下：http://ww
2016-01-25 11:43:30
4257
原创 最小二乘法拟合方位角与径向速度的关系
# -*- coding: GB2312 -*-"""Created on Thu Jan 21 20:56:24 2016@author: Administrator"""import numpy as npfrom scipy.optimize import leastsqimport pylab as plimport sysdef func(
2016-01-22 17:24:39
1276
原创 控制scala并行集合的并发数量
参考：http://stackoverflow.com/questions/8936949/how-to-control-the-concurrency-on-scala-parallel-collectionhttp://stackoverflow.com/questions/5424496/scala-parallel-collections-degree-of-paralleli
2016-01-08 10:05:37
2285
原创 scala REPL中加载第三方jar包
主要在启动scala的时候通过classpath参数加载指定的jar包，加载方法举例：scala -classpath toolsUI-4.5.jar test.scalatest.scala源码：import java.io.Fileimport java.net.URLClassLoaderimport java.net.URLimport ucar.un
2016-01-07 18:09:13
5032
原创 gcc安装步骤
https://gcc.gnu.org/wiki/InstallingGCC主要安装命令：tar xzf gcc-4.6.2.tar.gzcd gcc-4.6.2./contrib/download_prerequisitescd ..mkdir objdircd objdir$PWD/../gcc-4.6.2/configure --prefix=$HOME/gcc-4.
2016-01-05 09:34:33
772
原创 Inotify测试（2）：inotifywait 与 PyInotify 监控层级比较
（1）inotifywait -e create,delete,modify,move -mrq ./fold可以监控到fold的子文件夹的创建以及子文件夹中文件的创建（2）PyInotify可以监控到fold的子文件夹的创建，但是监控不到子文件中文件的创建
2015-12-30 16:27:25
1171
转载 Linux使用Shell脚本实现ftp的自动上传下载
1. ftp自动登录批量下载文件。 #####从ftp服务器上的/home/data 到 本地的/home/databackup#####!/bin/bashftp -nopen 192.168.1.171user guest 123456binarycd /home/datalcd /home/databackuppromptmge
2015-12-09 16:29:50
2483
转载 Hadoop集群服务器以及相关硬件选择的一些认识
转自：http://blog.csdn.net/cnweike/article/details/22796107最近由于运行了两年多的Hadoop集群，硬盘故障的现象愈加频繁，故开始着手更换集群磁盘，但是所有的DataNode的磁盘都不是热插拔的，导致，必须关机，卸开服务器然后更换磁盘。经过这次之后，我想非常有必要专门总结一下Hadoop集群的服务器选择问题
2015-12-07 21:57:28
920
原创 Scala yield unit 测试
def test1(): Unit ={ val a = Array(0,1,2,3,4,5,6) val result = ((for(i yield { if(i > 4) Array("aaa","bbb") }).filter(p => p != BoxedUnit.UNIT)).map(f => f.asInstanceOf[Array[String]
2015-11-12 14:55:20
661
The C Programming Lauguage（英文版）.chm
2010-10-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人