自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(22)
  • 资源 (1)
  • 收藏
  • 关注

原创 thrift安装天坑

最近想尝试一下rpc框架。主要是机器学习和大数据的结合。机器学习用的Python那套,大数据打算用Hadoop。所以不可避免的会遇到跨语言的问题。于是调研了一下,发现Thrift是个好东西。但是安装过程坑太多了吧,,,首先上文档:https://www.facebook.com/notes/turkiye-elektrik-elektronik-muhendisler-grubu/apa...

2019-05-06 20:54:02 307

原创 文档的管理方式

文档的管理方式toolitercategory and anchorpicstablerefer摘要这里只对手写文档的管理进行个人方式的总结。包括文档的书写和存储等。以下部分基于假设:你使用Markdown书写文档。toolMarkdown, VScode, MPE1, markdownlint, Git, GitHub 2iter理论上,应使用mar...

2019-04-18 18:24:45 382

原创 imagemagick整理

文章目录ubuntu安装ubuntu安装Ubuntu上默认使用IM6,使用convert而非magick。更新使用到IM7,请看https://www.tecmint.com/install-imagemagick-on-debian-ubuntu/代码如下: 2021 sudo apt update 2023 sudo apt-get install build-essenti...

2019-03-25 17:13:48 283

原创 Pandas的缺失值填充

在写例子的时候用到了缺失值的填充,于是想用一下method这个参数传入’ffill’来实现.但是发现,这个填充方法并不全如我意.仔细实验后发现,这其中有些需要注意的点.fill_test = Series([111, 222, 533, 644, 299], index=[1, 2, 3, 7, 11])print(fill_test)fill_test_1 = fill_test.r...

2019-01-23 16:10:12 3523

原创 使用mem_profiler和cprofiler分析Python中的list和generator

在Python中,mem_profiler可以用来评估内存的使用,而cprofiler结合pstats可以用来分析代码运行的时间.从这两点出发,我们可以用来评估Python代码的效率.Talk is cheap, show me the code.这里用简单的两个操作,一个评估只统计,一个评估整合并统计.从两个角度来梳理list和generator在不同场景下性能的区别.@profiled...

2019-01-03 16:59:32 390

翻译 JOE介绍(译)

工作需要,碰到处理大体量的数据集,当前电脑的内存不足以打开.查了资料,使用JOE编辑器可以很好的处理大数据的问题.网上搜索看了一下中文介绍的资料几乎没有,所以翻译了一下官方文档的介绍文字.具体命令行太多了,请参看官方文档.描述:JOE是一个强大的终端界面编辑器.他拥有像其他个人编辑器一样用户友好型的"mode-less"的用户界面.Micro-Pro’s WordStar或Borland’...

2019-01-02 11:25:01 1148

原创 高维数组转置换(numpy.transpose)

高维数组泛指二维以上的数组,抽象,不可描述.在使用numpy.transpose的时候用到,总结一下他的转置的规律.arr = np.arange(16).reshape((2, 3, 4))print(arr)print(arr.transpose((1, 0, 2)))print(arr.transpose((1, 2, 0)))print('-' * 40)print(ar...

2018-12-27 22:00:52 1182

原创 JAVA学习笔记0.0

加入了一个新公司,最近需要学习写Java。因为很赶,只好半懂不懂就上了。 在刷教程的时候有以下试验代码:public class decoratorExam { public interface AbstractPerson { //具有展示的功能 void show(); } public class Me implements ...

2018-06-28 20:01:18 360

原创 docker使用过程中遇到的Linux中的su命令

遇到的Linux中的su命令linux环境下,常常需要我们切换用户,通过不同的权限,可以控制系统的安全性。所以例如ES会明确要求不能用root用户进行开发。 于是我们需要使用su命令切换用户。 然而在使用docker的过程中,我遇到了一个问题。 问题描述: 通过docker run -td name /bin/bash搭建一个容器以后,使用docker exec -it id /bin...

2018-03-30 21:22:44 3507 1

翻译 给Python加速(性能加速的方法)

转译解读首先提高代码的性能不能以改变代码功能为代价。简而言之,按照原文说的:1.首先将代码写对2.测试代码是否正确执行3.如果代码效率不高就分析是哪个部分造成的。4.优化这个部分5.从第二步开始重复这个部分详细的解读包括:选择一个正确的数据结构。这个说法深有体会。Python中多变的数据结构可以造成很大的差异,使用一个set就可以事半功倍。甚至一个自己定义的数据结构,对于内存,运算速度,

2017-12-18 17:43:38 24051

原创 数据处理小谈CSV

数据处理小谈CSV在处理数据的时候,我总习惯于将数据先写到本地文件中。首先本地读写速度快,其次数据操作简单,代码量少,兼之不会遇到连接断开等等问题,写到本地后还能修改一番——实在是不得不选的必要操作!在工作中我遇到的数据量还不是特别大,基本上在几个G的大小。这个体量的数据,常见的操作是最后存入MySQL中。这里就要好好讲讲MySQL和csv了。(Linux Python开发环境下)首先当前较好用的连

2017-12-14 18:06:37 289

原创 Docker 简明笔记

Docker 简明笔记原理利用 docker run 来创建容器时,Docker 在后台运行的标准操作包括: 检查本地是否存在指定的镜像,不存在就从公有仓库下载 利用镜像创建并启动一个容器 分配一个文件系统,并在只读的镜像层外面挂载一层可读写层 从宿主主机配置的网桥接口中桥接一个虚拟接口到容器中去 从地址池配置一个 ip 地址给容器 执行用户指定的应用程序 执行完毕后容器被终止基本

2017-12-10 23:45:57 235

原创 git笔记

git笔记如果从来没有git的使用经验,请参照廖雪峰的教程在这里我仅仅将常用的几个命令记录下来,形成一个完整的流程,实现较好的复习和巩固。git initecho "First always goes as a readme file" > readme.mdgit add readme.mdgit commit -m "create a readme file"git remote add

2017-12-10 23:34:02 155

原创 #make及makefile

make及makefilemake命令简介:要使用make,首先需要写一个makefile文件. 描述了软件包中各文件的关系,提供更新每个文件的命令。 如:gcc module1.o module2.o -o exel可以这样写Makefile文件:exel:module1.o module2.o gcc module1.o module2.o -o exel复杂化为:module1.

2017-12-10 23:32:52 146

原创 #快速编写Thrift简单接口

快速编写Thrift简单接口首先需要结合机器信息安装好Thrift,并且结合官方文档,以入⻔指南为大纲,进行试运行。这里我以Python进 行示范和讲解。首先复制下来 tutorial.thrift 和 shared.thrift ,并且运行代码: thrift -r –gen py tutorial.thrift 生成对应的模板文件。然后复制client.py和server.py,在

2017-12-10 23:29:48 1076

原创 # thrift 笔记

thrift 笔记thrift oneway: oneway的方式是客户端将消息写入本地的网络缓冲区就直接返回。是否成功发送到服务端是由网络保证的。而如果发送的速度慢。客户端直接退出了。后面的消息就会丢失。 而非oneway的方式是将消息发送给对方。服务端收到消息后,会给client端发送响应。这样就是同步的停等发送方式。 所以oneway应该使用在可靠性要求不高,同时对发送的速度有了解。可以保

2017-12-10 23:17:37 197

原创 #python项目小谈

python项目小谈项目结构.├── docs│ ├── conf.py│ ├── index.rst│ └── quickstart.rst├── foobar│ ├── cli.py│ ├── __init__.py│ ├── storage.py│ └── tests│ ├── __init__.py│ ├── test

2017-12-10 23:16:13 239

原创 #ubuntu上OpenCv安装及范例

ubuntu上OpenCv安装及范例Talk is cheap. Show you the code!#!/bin/bash# author: Chengsudo apt-get updatesudo apt-get upgradesudo apt-get install build-essential cmake git pkg-config #开发包sudo apt-get in

2017-12-10 23:14:58 202

原创 爬虫之网页分析

爬虫之网页分析在编写爬虫的时候,我们需要对网页进行分析。这需要前端和后端知识的结合。随着前端框架的进一步发展,为了安全性和代码的可维护性,很多前端使用js技术动态返回需要描写的页面,这就不是简单的urllib.request.urlopen能够访问的了。于是有了selenium, marionette, puppeteer等浏览器外部接口。众所周知,虽然selenium是一款常见的

2017-11-29 22:57:05 4173

转载 欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-11-29 22:19:53 161

原创 开发爬虫中不易关注的礼仪

开发爬虫中不易关注的礼仪现在爬虫的框架越来越成熟,分布式非阻塞等等技术相继登场,就是为了满足Boss快速开发的需求。 对于微博知乎等大型网站来说,个人爬取的速度自然微不足道,毕竟nginx现在都已经突破了十万并发数。但是有些奇怪的网站会限制你的访问频率。是的,他不是从技术层面上,设置奇怪的验证码或者将前端页面写到js脚本中,而是限制你访问的次数。此处的限制不单单是对IP的限制,否则使用代理就能很好

2017-11-22 10:40:21 514

原创 Markdown 快速索引

Markdown 快速索引#表示标题语法,有多少个#就表明标题多少级。1级最大,6级最小。同时,HTML语法规则也可以直接引用而无需区别是否符合Markdown语法。因为Markdown兼容HTML。 例:&copy可以用来表示 © 用>表示类似email 的段落区块。列表排序: 无序列表用 * + - 这三

2017-09-07 17:27:02 1954

亚像素级别处理圆心坐标计算程序

该程序能对图片进行像素级,亚像素级别图像处理,并对多条轮廓进行圆心拟合,计算各自圆心坐标,方便快捷,坐标数值以及处理后的图像均能保存

2021-03-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除