libra0-CSDN博客

原创 thrift安装天坑

最近想尝试一下rpc框架。主要是机器学习和大数据的结合。机器学习用的Python那套，大数据打算用Hadoop。所以不可避免的会遇到跨语言的问题。于是调研了一下，发现Thrift是个好东西。但是安装过程坑太多了吧，，，首先上文档：https://www.facebook.com/notes/turkiye-elektrik-elektronik-muhendisler-grubu/apa...

2019-05-06 20:54:02 307

原创文档的管理方式

文档的管理方式toolitercategory and anchorpicstablerefer摘要这里只对手写文档的管理进行个人方式的总结。包括文档的书写和存储等。以下部分基于假设：你使用Markdown书写文档。toolMarkdown， VScode， MPE1， markdownlint， Git, GitHub 2iter理论上，应使用mar...

2019-04-18 18:24:45 385

原创 imagemagick整理

文章目录ubuntu安装ubuntu安装Ubuntu上默认使用IM6，使用convert而非magick。更新使用到IM7，请看https://www.tecmint.com/install-imagemagick-on-debian-ubuntu/代码如下： 2021 sudo apt update 2023 sudo apt-get install build-essenti...

2019-03-25 17:13:48 285

原创 Pandas的缺失值填充

在写例子的时候用到了缺失值的填充,于是想用一下method这个参数传入’ffill’来实现.但是发现,这个填充方法并不全如我意.仔细实验后发现,这其中有些需要注意的点.fill_test = Series([111, 222, 533, 644, 299], index=[1, 2, 3, 7, 11])print(fill_test)fill_test_1 = fill_test.r...

2019-01-23 16:10:12 3527

原创使用mem_profiler和cprofiler分析Python中的list和generator

在Python中,mem_profiler可以用来评估内存的使用,而cprofiler结合pstats可以用来分析代码运行的时间.从这两点出发,我们可以用来评估Python代码的效率.Talk is cheap, show me the code.这里用简单的两个操作,一个评估只统计,一个评估整合并统计.从两个角度来梳理list和generator在不同场景下性能的区别.@profiled...

2019-01-03 16:59:32 396

翻译 JOE介绍(译)

工作需要,碰到处理大体量的数据集,当前电脑的内存不足以打开.查了资料,使用JOE编辑器可以很好的处理大数据的问题.网上搜索看了一下中文介绍的资料几乎没有,所以翻译了一下官方文档的介绍文字.具体命令行太多了,请参看官方文档.描述:JOE是一个强大的终端界面编辑器.他拥有像其他个人编辑器一样用户友好型的"mode-less"的用户界面.Micro-Pro’s WordStar或Borland’...

2019-01-02 11:25:01 1155

原创高维数组转置换(numpy.transpose)

高维数组泛指二维以上的数组,抽象,不可描述.在使用numpy.transpose的时候用到,总结一下他的转置的规律.arr = np.arange(16).reshape((2, 3, 4))print(arr)print(arr.transpose((1, 0, 2)))print(arr.transpose((1, 2, 0)))print('-' * 40)print(ar...

2018-12-27 22:00:52 1183

原创 JAVA学习笔记0.0

加入了一个新公司，最近需要学习写Java。因为很赶，只好半懂不懂就上了。在刷教程的时候有以下试验代码：public class decoratorExam { public interface AbstractPerson { //具有展示的功能 void show(); } public class Me implements ...

2018-06-28 20:01:18 376

原创 docker使用过程中遇到的Linux中的su命令

遇到的Linux中的su命令linux环境下，常常需要我们切换用户，通过不同的权限，可以控制系统的安全性。所以例如ES会明确要求不能用root用户进行开发。于是我们需要使用su命令切换用户。然而在使用docker的过程中，我遇到了一个问题。问题描述：通过docker run -td name /bin/bash搭建一个容器以后，使用docker exec -it id /bin...

2018-03-30 21:22:44 3526 1

翻译给Python加速（性能加速的方法）

转译解读首先提高代码的性能不能以改变代码功能为代价。简而言之，按照原文说的：１．首先将代码写对２．测试代码是否正确执行３．如果代码效率不高就分析是哪个部分造成的。４．优化这个部分５．从第二步开始重复这个部分详细的解读包括：选择一个正确的数据结构。这个说法深有体会。Python中多变的数据结构可以造成很大的差异，使用一个set就可以事半功倍。甚至一个自己定义的数据结构，对于内存，运算速度，

2017-12-18 17:43:38 24055

数据处理小谈CSV在处理数据的时候，我总习惯于将数据先写到本地文件中。首先本地读写速度快，其次数据操作简单，代码量少，兼之不会遇到连接断开等等问题，写到本地后还能修改一番——实在是不得不选的必要操作！在工作中我遇到的数据量还不是特别大，基本上在几个Ｇ的大小。这个体量的数据，常见的操作是最后存入MySQL中。这里就要好好讲讲ＭｙＳＱＬ和ｃｓｖ了。（Linux Python开发环境下）首先当前较好用的连

2017-12-14 18:06:37 290

原创 Docker 简明笔记

Docker 简明笔记原理利用 docker run 来创建容器时，Docker 在后台运行的标准操作包括：检查本地是否存在指定的镜像，不存在就从公有仓库下载利用镜像创建并启动一个容器分配一个文件系统，并在只读的镜像层外面挂载一层可读写层从宿主主机配置的网桥接口中桥接一个虚拟接口到容器中去从地址池配置一个 ip 地址给容器执行用户指定的应用程序执行完毕后容器被终止基本

2017-12-10 23:45:57 236

原创 git笔记

git笔记如果从来没有git的使用经验,请参照廖雪峰的教程在这里我仅仅将常用的几个命令记录下来,形成一个完整的流程,实现较好的复习和巩固。git initecho "First always goes as a readme file" > readme.mdgit add readme.mdgit commit -m "create a readme file"git remote add

2017-12-10 23:34:02 156

原创 #make及makefile

make及makefilemake命令简介:要使用make,首先需要写一个makefile文件. 描述了软件包中各文件的关系,提供更新每个文件的命令。如:gcc module1.o module2.o -o exel可以这样写Makefile文件:exel:module1.o module2.o gcc module1.o module2.o -o exel复杂化为:module1.

2017-12-10 23:32:52 148

原创 #快速编写Thrift简单接口

快速编写Thrift简单接口首先需要结合机器信息安装好Thrift,并且结合官方文档,以入⻔指南为大纲,进行试运行。这里我以Python进行示范和讲解。首先复制下来 tutorial.thrift 和 shared.thrift ,并且运行代码: thrift -r –gen py tutorial.thrift 生成对应的模板文件。然后复制client.py和server.py,在

2017-12-10 23:29:48 1078

原创 # thrift 笔记

thrift 笔记thrift oneway: oneway的方式是客户端将消息写入本地的网络缓冲区就直接返回。是否成功发送到服务端是由网络保证的。而如果发送的速度慢。客户端直接退出了。后面的消息就会丢失。而非oneway的方式是将消息发送给对方。服务端收到消息后，会给client端发送响应。这样就是同步的停等发送方式。所以oneway应该使用在可靠性要求不高，同时对发送的速度有了解。可以保

2017-12-10 23:17:37 197

原创 #python项目小谈

python项目小谈项目结构.├── docs│ ├── conf.py│ ├── index.rst│ └── quickstart.rst├── foobar│ ├── cli.py│ ├── __init__.py│ ├── storage.py│ └── tests│ ├── __init__.py│ ├── test

2017-12-10 23:16:13 242

原创 #ubuntu上OpenCv安装及范例

ubuntu上OpenCv安装及范例Talk is cheap. Show you the code!#！/bin/bash# author: Chengsudo apt-get updatesudo apt-get upgradesudo apt-get install build-essential cmake git pkg-config #开发包sudo apt-get in

2017-12-10 23:14:58 204

原创爬虫之网页分析

爬虫之网页分析在编写爬虫的时候，我们需要对网页进行分析。这需要前端和后端知识的结合。随着前端框架的进一步发展，为了安全性和代码的可维护性，很多前端使用js技术动态返回需要描写的页面，这就不是简单的urllib.request.urlopen能够访问的了。于是有了selenium, marionette， puppeteer等浏览器外部接口。众所周知，虽然selenium是一款常见的

2017-11-29 22:57:05 4174

转载欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-11-29 22:19:53 163

原创开发爬虫中不易关注的礼仪

开发爬虫中不易关注的礼仪现在爬虫的框架越来越成熟，分布式非阻塞等等技术相继登场，就是为了满足Boss快速开发的需求。对于微博知乎等大型网站来说，个人爬取的速度自然微不足道，毕竟nginx现在都已经突破了十万并发数。但是有些奇怪的网站会限制你的访问频率。是的，他不是从技术层面上，设置奇怪的验证码或者将前端页面写到ｊｓ脚本中，而是限制你访问的次数。此处的限制不单单是对ＩＰ的限制，否则使用代理就能很好

2017-11-22 10:40:21 515

原创 Markdown 快速索引

Markdown 快速索引#表示标题语法，有多少个#就表明标题多少级。1级最大，6级最小。同时，HTML语法规则也可以直接引用而无需区别是否符合Markdown语法。因为Markdown兼容HTML。例：&copy可以用来表示 &copy；用>表示类似email 的段落区块。列表排序：无序列表用 * + - 这三

2017-09-07 17:27:02 1961

libra0的博客