- 博客(754)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Docker运行图形应用程序
今天要用Docker在容器里运行一个带图形界面的应用程序，所有简单试了一下，还是比较容易实现，下面是我整理的步骤。Dockerfile首先创建一个Dockerfile，内容如下：FROM centos:7RUN yum install -y sudo tar wget openssh-server openssh-clients openssl openssl-devel ...
2018-04-27 08:05:16
6610
1
原创 Python运行时动态查看进程内部信息
接前两篇“运行时查看线程信息”的博客，我在想，既然我可以随时打印线程信息，那么我是不是可以随时打印进程内部的其它信息呢？比如，实时查看一些对象属性等，这样可以帮助我们在不重新启动应用程序的情况下就可以观察进程的执行状态。（这里暂时不考虑那些使用第三方库或工具的情况）根据这个想法，查看了一下python的动态加载模块的方法，感觉这个想法还是比较靠谱，应该可以实现，所以动手写了个小测试验证了一把。...
2018-04-25 08:39:49
5645
原创 Python3运行时查看线程信息
前一篇文章说了一下在是用Python2的情况下怎样查看运行时线程信息，今天查资料的时候发现，原来在Python3中引入了 faulthandler 模块，可以简化我们很多工作，甚至，如果不需要保持进程继续运行的情况下可以不用修改我们已有的代码。具体 faulthandler 模块的使用，可以参考： faulthandler https://docs.python.org/3/library...
2018-03-27 12:52:28
17271
1
原创 Python2运行时查看线程信息
今天遇见一个 Python 问题，在测试环境中发现用 Python2.7.10 写的程序有时候会慢慢变慢，在使用 “pstack ” 查看进程的时候发现起了很多的线程，并且越来越多，这肯定是程序有问题，但是使用 pstack 命令看不到具体每个线程是在做什么，于是我就想是不是可以在不影响进程运行的情况下随时查看每个线程都在干什么。于是乎，我大致想了一下 1. 可以使用 signal 模块在处...
2018-03-26 23:19:14
2517
1
原创 Linux查看进程栈信息
今天在Linux上调试程序程序的时候发现有时候程序会莫名其妙的hang住，于是就想能不能找到当时程序有那些线程，都在做什么。找了一下linux命令，还真可以满足我的需求。下面看一个小例子。先准备一段程序，为了简单起见这里使用python来写，其中创建了两个线程来执行各自的任务。import threadingimport timedef test1(): while(T...
2018-03-23 08:45:40
5594
原创 Mac上启动Apache服务
Mac OS X 10.12.6 默认是安装了 Apache 的，要启动 Apache 服务需要手动通过命令行开启。启动Apachesudo apachectl start停止Apachesudo apachectl stop启动后可以通过 http://127.0.0.1 访问了。另外，配置文件路径为/etc/apache2/httpd.conf站点的...
2018-03-21 21:06:34
8448
1
原创 Cordova 打包错误 ERROR: In declare-styleable FontFamilyFont, unable to find attribute android:
问题描述今天在使用 “cordova build android” 的时候，发现报下面的错误ERROR: In <declare-styleable> FontFamilyFont, unable to find attribute android:fontVariationSettingsERROR: In <declare-styleable> FontF...
2018-03-16 08:54:13
1532
原创 在VirtualBox上使用Bosh部署Cloud Foundry
安装Bosh安装 VirtualBox略$ VBoxManage --version5.1.22r115126安装Bosh$ wget -c https://s3.amazonaws.com/bosh-cli-artifacts/bosh-cli-2.0.48-linux-amd64$ chmod +x bosh-cli-*$ sudo mv bosh-c...
2018-03-14 08:55:31
734
原创 在VirtualBox上使用Bosh部署Zookeeper集群
安装 VirtualBox略$ VBoxManage --version5.1.22r115126安装Bosh$ wget -c https://s3.amazonaws.com/bosh-cli-artifacts/bosh-cli-2.0.48-linux-amd64$ chmod +x bosh-cli-*$ sudo mv bosh-cli-* /usr/...
2018-03-14 08:54:33
622
原创 iOS提交Appstore时报错： iTunes Store operation failed.
今天使用iOS提交Appstore时总是报错iTunes Store operation failed. This action could not be completed. Try again.开始以为是网络问题，所以试了各种网络设置，使用代理，VPN，但是问题依旧，最后还是使用下面的方法解决了问题。先把打包好的包导出成ipa文件然后通过Xcode Menu –> ...
2018-03-12 09:15:26
2615
原创 Cloud Foundry 运行bosh create-env时报错： TLS handshake timeout
在Linux上使用Bosh创建Director的时候报错，如下：bosh create-env bosh-deployment/bosh.yml \ --state state.json \ --vars-store ./creds.yml \ -o bosh-deployment/virtualbox/cpi.yml \ -o bosh-deployment/virtua...
2018-03-07 22:16:32
470
原创 Hive通过JDBC连接HiveServer
修改 hadoop 配置首先需要修改hadoop的配置文件etc/hadoop/core-site.xml，添加如下配置项，其中 为连接用户，根据具体用户替换。<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?>&a
2018-03-05 09:20:40
1144
原创 Hive配置元数据库为PostgreSQL
前一篇文章说了怎样搭建 Hive 环境，但是 Hive 使用的是默认 Derby 数据库作为元数据库，今天说说怎样把 Hive 的元数据库从默认的 Derby 改成 PostgreSQL 数据库。安装 PostgreSQL因为这里是侧重 Hive 的配置，所以安装和配置 PostgreSQL 的步骤就省略了。配置 Hive 使用 PostgreSQL编辑 ${HIVE_HO...
2018-03-02 07:23:59
4096
原创 Hive入门
介绍Hive 是一个基于 Hadoop 的数据仓库工具，它可以将结构化数据文件映射成一张表，然后通过类似 SQL 的查询语句来执行查询。这些查询语句在Hive中被称作HQL，这些 HQL 会被翻译成 MapReduce 作业来执行。Hive 把表和字段转换成 HDFS 中的文件夹和文件，并将这些元数据保持在关系型数据库中，如 derby 或 mysql。Hive 查询的数据存储在HDF...
2018-03-01 07:25:39
429
原创 使用django-crontab实现定时任务
今天打算在自己的 Django 应用中添加一个定时任务来定时执行一些定期检查的功能，因此想到了使用 django-crontab 插件可以满足我的需求，下面就是这个插件的使用方法。首先使用pip安装 django-crontab 插件pip install django-crontab创建要定期执行的脚本和方法，这里假设脚本名称叫cron.py，内容如下：#!/usr/bin/...
2018-02-25 21:22:58
1202
原创 Hadoop3-分布式模式安装
接前一篇博客，这次做安装一个真正的分布式集群环境。准备这里准备三台机器bd1,bd2,bd3来组个hadoop集群，其中bd1作为namenode，bd1,bd2,bd3作为datanode配置这三台机器之间可以免密码 SSH 登录，参考我以前的博客。配置修改下面几个配置文件etc/hadoop/core-site.xml<configurati...
2018-02-24 10:08:36
855
原创 Hadoop3-伪分布式模式安装
今天无意间看到Hadoop3去年年底就release了，今天就准备装个环境看看。安装配置首先从下面的地址下载安装包http://hadoop.apache.org/releases.html这里我下载的是hadoop-3.0.0.tar.gz包，解压安装。$ tar zxvf hadoop-3.0.0.tar.gz$ cd hadoop-3.0.0/编辑etc...
2018-02-23 07:56:11
2248
1
原创 Docker Error: Error creating cluster component: error while loading TLS Certificate in /var/lib/dock
今天我的Docker宿主机重启了一次后，Docker daemon竟然起不来了，查看了一下 /var/log/messages 中的日志，里面竟然有错误Feb 8 09:03:53 bd2 dockerd-current: time="2018-02-08T09:03:53.926690813+08:00" level=fatal msg="Error creating cluster ...
2018-02-08 09:49:12
1244
1
原创 Python使用functools实现注解同步方法
在 Python 中没有类似 Java 中使用的 synchronized 关键字来同步方法，因此在 Python 中要实现同步方法，通常我们是使用 threading.Lock() 来实现。在进入函数的地方获取锁，出函数的时候释放锁，这样实现代码看起好非常不好看。另外网上也有人给出了其它几种实现方式，但看起来都不美气。今天我在做项目的时候突然想到是不是可以通过 functools 来实现通过
2018-02-06 08:45:28
2167
原创 Windows上使用Python绑定CPU
在 Windows 平台上，有时候我们想让自己的程序在指定的CPU上运行，此时我看可以通过下面几个API来实现win32process.SetProcessAffinityMask(hProcess, mask) - 绑定进程到CPUwin32api.GetSystemInfo()[5] - 查询当前机器有几个CPUwin32api.GetCurrentProcess() - 获取当前进
2018-02-05 09:21:38
2701
原创 Windows上通过命令行参数限制CPU
start /WAIT /affinity 0x1 app.exe （只使用第一个CPU）start /WAIT /affinity 0x2 app.exe （只使用第二个CPU）start /WAIT /affinity 0x4 app.exe （只使用第三个CPU）start /WAIT /affinity 0x8 app.exe （只使用第四个CPU）start /WAIT /aff
2018-02-04 15:24:47
5490
原创 Linux上使用vim编辑文件保存时报错：E514: write error (file system full?)
今天在Linux上使用vim编辑文件保存时报如下错误E514: write error (file system full?)从错误看，是磁盘满了，于是使用df -hl查看磁盘使用情况$ sudo df -hlFilesystem Size Used Avail Use% Mounted on/dev/mapper/vg_m
2018-02-03 13:10:07
16920
原创 HBase客户端API-过滤器列表
前面两篇文章说了怎样使用单个Filter来过滤数据，但是很多情况下我们需要做一下组合过滤，比如有逻辑与和逻辑或的查询，此时我们可以使用FilterList来实现了。FilterList也是实现了Filter接口，因此我们可以通过多个过滤器组合来实现某些效果。看下面的例子，我们创建了两个filter，第一个是过滤 username=user_0，第二个是过滤 password=passwor
2018-02-03 11:41:03
532
原创 HBase客户端API-分页过滤器
前一篇博客说了一下 HBase 的一些过滤器，今天看看 HBase 的分页过滤器。在 HBase 中分页过滤是通过 PageFilter 来实现的，在创建这个参数的时候需要设置一个pageSize参数，通过这个参数来控制每页返回的行数，并且在每次查询时需要指定本次查询的起始行。这里有一点需要注意，HBase中行键的排序是按字典顺序排列的，因此返回的结果也是按此顺序排列。下面看一下分页过
2018-02-02 07:47:12
1340
原创 HBase客户端API-过滤器
在使用HBase的API查询数据的时候，我们经常需要设置一些过滤条件来查询数据，这个时候我们就需要使用 HBase API 的各种 Filter 来实现这一功能。在 HBase API 中使用过滤器需要创建一个 Filter 实例，然后使用Scan.setFilter()或者Get.setFilter()来使用 Filter，如下：Table table = connection.ge
2018-02-01 08:07:39
661
原创 HBase客户端API-Batch操作
上一篇博客说了使用 HBase 的客户端 API 来操作操作 HBase 表中记录，今天我们看看怎样通过 API 来批量操作表中的数据。安装上一篇博客中的方法在 HBase 中如果更新（添加/修改/删除）记录，是按行一条一条更新的，这种方法在处理大量更新操作时，性能比较差，还好在 HBase 中提供了以 Batch 方式来批量更新数据表的方法。下面就看看怎样通过 Table.batch() 方
2018-01-30 09:19:14
3350
原创 HBase客户端API-表操作
上一篇博客说了使用 HBase 的客户端 API 来操作管理 HBase 中的表，今天我们看看怎样通过 API 来操作表中的数据。介绍在 HBase 中对数据表中的数据的操做我们一般是通过 Table， Put， Get， Delete，Scan，Result等几个类来实现。Table 是表对象，对应数据库中的一张表，我们可以在表上执行添加，修改，删除和查询操作。Put 主要是
2018-01-29 09:13:25
468
原创 HBase客户端API-表管理
上一篇博客说了怎样搭建HBase环境，今天说说怎样使用 HBase 的客户端 API 来操作 HBase 中的数据。创建工程首先创建一个 Maven 工程，然后添加hbase客户端api的依赖项，如下：dependency> groupId>org.apache.hbasegroupId> artifactId>hbase-clientartifactId>
2018-01-28 11:09:46
2100
原创 HBase入门-安装
HBase是建立在Hadoop文件系统之上的分布式面向列的数据库，它是横向扩展的。它利用了Hadoop的文件系统（HDFS）提供的容错能力。HBase提供对数据的随机实时读/写访问，可以直接HBase存储HDFS数据。准备安装JDK1.8+下载 hbase-2.0.0-beta-1-bin.tar.gz 包，并解压到 /apps/目录下。修改 conf/hbase-env.s
2018-01-27 15:25:26
665
1
原创 Tensorflow限制CPU个数
安装这里使用 Pip 来安装 Tensorflow CPU 版$ sudo pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.5.0-cp27-none-linux_x86_64.whl安装完成后运行库中自带的手写识别例子来检查安装是否成功$ cd /usr/lib/py
2018-01-22 09:35:21
6450
原创 CentOS7安装Caffe2
安装epel$ sudo yum install epel-release安装依赖的系统库# $ sudo yum update$ sudo yum install -y \automake \cmake3 \gcc \gcc-c++ \git \kernel-devel \leveldb-devel \lmdb-devel \libtool \pro
2018-01-19 13:15:16
2663
2
原创 Caffe使用openblas实现CPU模式使用多线程
（接前文）在Caffe的默认编译安装使用的是ATLAS库，但是这个版本的BLAS不能利用多核CPU，要使用多核CPU并行计算来加速Caffe则需要使用OpenBLAS。下面就说说怎样来使用OpenBLAS。在默认编译Caffe后，我们使用“ldd build/tools/caffe”命令查看时可以看到使用的是openblas的单线程版本，如下：$ ldd build/tools/caffe
2018-01-16 09:41:44
3192
2
原创 Caffe训练模型时core dump
在安装好的 caffe 环境里训练模型时报错$ cd $ ./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt...I0111 15:27:57.013530 20030 layer_factory.hpp:77] Creating layer mnistF0111 15:27:57.0138
2018-01-12 09:32:59
1104
原创 Caffe Python开发环境设置
安装 Python 依赖的库由于安装 Python 的第三方库的时候需要编译，所以需要安装下面两个库$ sudo yum install python-devel numpy设置virtualenv环境$ virtualenv caffeenv$ cd caffeenv$ . bin/activate安装 Python 第三方库cd /caffe-1.0/p
2018-01-11 09:36:28
2453
原创 CentOS7安装Caffe
CentOS7安装Caffe安装依赖包sudo yum install protobuf-devel leveldb-devel snappy-devel opencv-devel boost-devel hdf5-develsudo yum install gflags-devel glog-devel lmdb-develsudo yum install openblas-
2018-01-10 09:22:12
5565
3
原创 Apache-Ignite入门实战之三 - 分布式锁
在 Ignite 的分布式缓存中还有一种常见应用场景是分布式锁，利用分布式锁我们可以实现简单的集群master选举功能。下面是一个使用分布式锁的例子：package my.ignitestudy.datagrid;import org.apache.ignite.Ignite;import org.apache.ignite.IgniteCache;import org.apache.ignit
2017-12-28 09:12:12
2735
1
原创 Apache-Ignite入门实战之二 - 事务处理
前一篇文章介绍了怎样安装和使用 Ignite 的缓存。今天说说 Ignite 的缓存事务。在我们平时的开发中经常会有这么一种场景，两个或多个线程同时在操作一个缓存的数据，此时我们希望要么这一批操作都成功，要么都失败。这种场景在数关系型据库中很常见，就是通过数据库的事务处理来实现的。下面我们就看看 Ignite 怎样实现这种事务处理。下面先看一个测试程序。package my.ignitestudy.
2017-12-27 08:55:49
2767
原创 Apache-Ignite入门实战之一
Apache-Ignite入门实战之一简介Apache Ignite 内存数据组织框架是一个高性能、集成化和分布式的内存计算和事务平台，用于大规模的数据集处理，比传统的基于磁盘或闪存的技术具有更高的性能，同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。安装从 https://ignite.apache.org/download.cgi#binaries 下载最新的安装包，
2017-12-26 09:32:02
12817
2
原创 Ubuntu升级后 /usr/bin/baloo_file 占用太高CPU
今天升级了一下我的Ubuntu系统，升级后明显发现系统卡顿，top查看了一下，有一个 /usr/bin/baloo_file 一直会使用很多CPU。查了一下发现是因为新版本的KDE引入的 /usr/bin/baloo_file 导致。 快速解决办法就是把 baloo_file 和 baloo_file_extractor 这两个文件备份一下，然后重新建立一个到 /bin/true 的链接，如下：$
2017-12-15 09:57:32
2617
1
原创 CentOS5.5使用yum时报错Error: Cannot find a valid baseurl for repo: addons
今天需要用CentOS5.5测试个东西，但是发现在运行yum命令的时候出现下面的错误Loaded plugins: allowdowngrade, downloadonly, fastestmirrorDetermining fastest mirrorsError: Cannot find a valid baseurl for repo: addonsYumRepo Error: All
2017-11-14 18:07:49
6893
1
Full Stack GraphQL Applications With React, Node.js, and Neo4j
2024-03-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人