![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
tech
libra0
这个作者很懒,什么都没留下…
展开
-
爬虫之网页分析
爬虫之网页分析在编写爬虫的时候,我们需要对网页进行分析。这需要前端和后端知识的结合。随着前端框架的进一步发展,为了安全性和代码的可维护性,很多前端使用js技术动态返回需要描写的页面,这就不是简单的urllib.request.urlopen能够访问的了。于是有了selenium, marionette, puppeteer等浏览器外部接口。众所周知,虽然selenium是一款常见的原创 2017-11-29 22:57:05 · 4178 阅读 · 0 评论 -
Pandas的缺失值填充
在写例子的时候用到了缺失值的填充,于是想用一下method这个参数传入’ffill’来实现.但是发现,这个填充方法并不全如我意.仔细实验后发现,这其中有些需要注意的点.fill_test = Series([111, 222, 533, 644, 299], index=[1, 2, 3, 7, 11])print(fill_test)fill_test_1 = fill_test.r...原创 2019-01-23 16:10:12 · 3528 阅读 · 0 评论 -
使用mem_profiler和cprofiler分析Python中的list和generator
在Python中,mem_profiler可以用来评估内存的使用,而cprofiler结合pstats可以用来分析代码运行的时间.从这两点出发,我们可以用来评估Python代码的效率.Talk is cheap, show me the code.这里用简单的两个操作,一个评估只统计,一个评估整合并统计.从两个角度来梳理list和generator在不同场景下性能的区别.@profiled...原创 2019-01-03 16:59:32 · 398 阅读 · 0 评论 -
高维数组转置换(numpy.transpose)
高维数组泛指二维以上的数组,抽象,不可描述.在使用numpy.transpose的时候用到,总结一下他的转置的规律.arr = np.arange(16).reshape((2, 3, 4))print(arr)print(arr.transpose((1, 0, 2)))print(arr.transpose((1, 2, 0)))print('-' * 40)print(ar...原创 2018-12-27 22:00:52 · 1188 阅读 · 0 评论 -
JAVA学习笔记0.0
加入了一个新公司,最近需要学习写Java。因为很赶,只好半懂不懂就上了。 在刷教程的时候有以下试验代码:public class decoratorExam { public interface AbstractPerson { //具有展示的功能 void show(); } public class Me implements ...原创 2018-06-28 20:01:18 · 391 阅读 · 0 评论 -
docker使用过程中遇到的Linux中的su命令
遇到的Linux中的su命令linux环境下,常常需要我们切换用户,通过不同的权限,可以控制系统的安全性。所以例如ES会明确要求不能用root用户进行开发。 于是我们需要使用su命令切换用户。 然而在使用docker的过程中,我遇到了一个问题。 问题描述: 通过docker run -td name /bin/bash搭建一个容器以后,使用docker exec -it id /bin...原创 2018-03-30 21:22:44 · 3571 阅读 · 1 评论 -
给Python加速(性能加速的方法)
转译解读首先提高代码的性能不能以改变代码功能为代价。简而言之,按照原文说的:1.首先将代码写对2.测试代码是否正确执行3.如果代码效率不高就分析是哪个部分造成的。4.优化这个部分5.从第二步开始重复这个部分详细的解读包括:选择一个正确的数据结构。这个说法深有体会。Python中多变的数据结构可以造成很大的差异,使用一个set就可以事半功倍。甚至一个自己定义的数据结构,对于内存,运算速度,翻译 2017-12-18 17:43:38 · 24068 阅读 · 0 评论 -
数据处理小谈CSV
数据处理小谈CSV在处理数据的时候,我总习惯于将数据先写到本地文件中。首先本地读写速度快,其次数据操作简单,代码量少,兼之不会遇到连接断开等等问题,写到本地后还能修改一番——实在是不得不选的必要操作!在工作中我遇到的数据量还不是特别大,基本上在几个G的大小。这个体量的数据,常见的操作是最后存入MySQL中。这里就要好好讲讲MySQL和csv了。(Linux Python开发环境下)首先当前较好用的连原创 2017-12-14 18:06:37 · 295 阅读 · 0 评论 -
Docker 简明笔记
Docker 简明笔记原理利用 docker run 来创建容器时,Docker 在后台运行的标准操作包括: 检查本地是否存在指定的镜像,不存在就从公有仓库下载 利用镜像创建并启动一个容器 分配一个文件系统,并在只读的镜像层外面挂载一层可读写层 从宿主主机配置的网桥接口中桥接一个虚拟接口到容器中去 从地址池配置一个 ip 地址给容器 执行用户指定的应用程序 执行完毕后容器被终止基本原创 2017-12-10 23:45:57 · 237 阅读 · 0 评论 -
#快速编写Thrift简单接口
快速编写Thrift简单接口首先需要结合机器信息安装好Thrift,并且结合官方文档,以入⻔指南为大纲,进行试运行。这里我以Python进 行示范和讲解。首先复制下来 tutorial.thrift 和 shared.thrift ,并且运行代码: thrift -r –gen py tutorial.thrift 生成对应的模板文件。然后复制client.py和server.py,在原创 2017-12-10 23:29:48 · 1087 阅读 · 0 评论 -
# thrift 笔记
thrift 笔记thrift oneway: oneway的方式是客户端将消息写入本地的网络缓冲区就直接返回。是否成功发送到服务端是由网络保证的。而如果发送的速度慢。客户端直接退出了。后面的消息就会丢失。 而非oneway的方式是将消息发送给对方。服务端收到消息后,会给client端发送响应。这样就是同步的停等发送方式。 所以oneway应该使用在可靠性要求不高,同时对发送的速度有了解。可以保原创 2017-12-10 23:17:37 · 208 阅读 · 0 评论 -
thrift安装天坑
最近想尝试一下rpc框架。主要是机器学习和大数据的结合。机器学习用的Python那套,大数据打算用Hadoop。所以不可避免的会遇到跨语言的问题。于是调研了一下,发现Thrift是个好东西。但是安装过程坑太多了吧,,,首先上文档:https://www.facebook.com/notes/turkiye-elektrik-elektronik-muhendisler-grubu/apa...原创 2019-05-06 20:54:02 · 309 阅读 · 0 评论