Michael_Zheng_Tech的博客

原创 Hadoop3.0中魔法——纠删码

在知乎上创作的文章，由于原理推到的矩阵没法原样复制过来，欢迎大家移步知乎：https://zhuanlan.zhihu.com/p/356436303

原创 【思维导图记知识】python的folium库使用思路

原创 【思维导图记知识】坐标系标准种类

转载 SSH远程登录配置文件sshd_config详解

SSH由客户端和服务端的软件组成，在客户端可以使用的软件有SecureCRT、putty、Xshell等，而在服务器端运行的是一个sshd的服务，通过使用SSH，可以把所有传输的数据进行加密，而且也能够防止dns和IP欺骗，此外，SSH传输的数据是经过压缩的，可以加快传输速度其服务器端的配置文件为/etc/ssh/sshd_config[root@test ~]# cat /etc/s...

转载 sed命令详解

原文链接：https://www.jianshu.com/p/89163e927a2c1. 简介sed命令是一个很强大的文本编辑器，可以对来自文件、以及标准输入的文本进行编辑。执行时，sed会从文件或者标准输入中读取一行，将其复制到缓冲区，对文本编辑完成之后，读取下一行直到所有的文本行都编辑完毕。所以sed命令处理时只会改变缓冲区中文本的副本，如果想要直接编辑原文件，可以使用-i选...

原创 关于技术评审的个人思考

为什么会需要技术评审：　　这个问题也可以换个问法，如果没有技术评审，可能会发生什么事。在项目过程中，大家可能会遇到在项目后半段，测试和验收人员发现某些功能无法满足需求，经过审查后，发现不是简单的修改代码可以解决，少则需要修改代码的实现方式，多则可能会需要换架构、组件等。一旦发生这种现象，又另外增加了不少工作量。此时反思在项目开始的时候，这些问题是否是可以被提前发现或者提前预备的？如果可以，那么在...

原创 python获取本机ip

import socketdef get_host_ip(): """ 查询本机ip地址 :return: ip """ s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) s.connect(('8.8.8.8', 80)) ip = s.getsockname()[0] ...

原创 python的dataframe使用整理(持续更新)

１、替换列名，df1.rename()方法，可替换任意某列的列名。示例：２、合并操作之merge，一次性只能操作两个dataframe，支持左连接、右连接、外链接、内连接，默认为内连接。支持指定连接使用的key。示例：３、合并操作之concat，轴向连接，通过axis参数指定连接方向，默认axis=0，纵向连接。axis=1，横向连接。示例：４、分组计算，并重置columns值，使用g...

原创 python的多进程库multiprocessing详解

背景：multiprocessing库用于进行python的多进程编程。一般来说，编程语言要进行并发编程，多线程会比多进程优先考虑，因为多线程比多进程更省资源。但是由于python底层的GIL的存在，导致了多线程编程时，实际上每个时刻只有一个线程在运行，也即只有一个核被利用起来，并没有起到并行的效果(此说法针对的是cpu密集型的代码，如果是I/O密集型的，多线程还是会有效果的)。于是为了真正利用...

原创 python基础操作整理

数字类操作：１）取绝对值：abs(-2)

原创 打造vim的python开发环境

基础配置：1、第一，需要linux上的vim版本是8 及以上2、第二，在每个linux的主目录下进行，也就是/home/用户名 路径下，需要有 .vimrc 文件（注意有个点），没有的话自行创建该文件。3、第三，在 .vimrc文件上进行一些基础配置，如下set nocompatible "关闭与vi的兼容模式set number "显示行号set nowrap "不自动...

原创 Django Model高级特性

1、关于管理者，models.Manager：默认每个自定义的model都是objects对象是管理者，里面有很多平时常用的方法，比如filter()、save()等。可以根据需要自定义默认的管理者，或者添加多个管理者（但是除非自己设定，否则按顺序默认的按设置的第一个管理者就是默认管理者）。主要用于需要给model类自定义一些行为，或者覆盖一些已存在的行为。2、关于原生sql的执行：有两种执行...

原创 git基本操作

新建远程仓库到拉取分支到本地：    1、新建远程仓库    2、git clone 仓库链接    3、touch READMD.md    4、git add README.md    5、git commit -m "add README.md"    6、git push origin master    7、此时远程仓库就有master分支，在仓库中从master分支中拉出...

原创 Python的动态加载机制

1、Python所有的模块加载到内存后，都会放在sys.modules中。     当我们在一个文件中import一个模块的时候，Python会先去sys.modules中查找是否已经加载过这个模块，如果是，则将这个模块的名字加入到正在调用import的local命名空间中；如果没有加载过这个模块，则从sys.path中按照模块名去查找，找到后加载到内存，并加入到sys.modules中。（所以...

原创 Python使用技巧（持续更新）

1、dir()和help()    dir()如果没有输入参数的话，返回当前范围内定义的模块、变量、方法；如果有输入参数的话，则返回输入参数包含的方法和属性。例如： >>> dir()['__builtins__', '__doc__', '__loader__', '__name__', '__package__', '__spec__', 'a']>&gt...

原创 关于Python中的None和null

在很多编程语言中，都有null这个值，作为值赋予给变量。Python中也有，但是是用None。使用None的原因是：1）null这个单词不够友好，对初学者来说不好理解。2）面向对象的语言都倾向用驼峰命名法，None符合驼峰命名法。在Python中，None是一个对象： >>> print(type(None))<class 'NoneType'>...

原创 kafka详解（持续更新中）

遗留问题：1、kafka能否保证单一消费                  2、消息是又谁决定到哪个partition的                  3、消费者获取消息的整个流程                  4、两种索引文件的分别的应用场景 一、总体介绍：1、kafka是什么？      kafka是一个分布式消息队列，基于发布/订阅的模式2、那么多消息队列，为...

原创 linux基础-实践篇（不定时更新）

查看linux系统信息：    1）查操作系统内核信息：uname -a          查操作系统版本信息：cat /proc/version          查操作系统发行版信息：cat /etc/issue    2）查CPU信息：cat /proc/cpuinfo                               (physical id：单个CPU的标号    ...

原创 【官网理解】【实践验证】Hive之join操作

标题说明：【】括号中代表此篇文章会涉及的方面，例如【官网理解】则代表对官网的讲解目前进度：50%                      该文目前完成【官网理解】部分，【实践验证】待更新，望批评指正，多多交流正文：版本功能更新：    hive 0.13.0以后的版本，支持了隐式join标记。    例如    SELECT * FROM table1 t1, table2 t2, table3...

转载 Linux命令运行的基本过程

原文地址：https://blog.csdn.net/hjx5200/article/details/22487683在CLUI(Command Line User Interface，与GUI对应)模式下，用户是通过shell与系统交互的。什么是shell？(提示一，提示二)上述两个材料得知shell也是一个程序，它与其他程序最大的不同是：它的目的是执行其他程序，而不是从事计算，绘图，存储等等具...

转载 shell中if条件字符串、数字比对，[[ ]]和[ ]区别

原文：https://www.cnblogs.com/include/archive/2011/12/09/2307905.html引用：http://www.51testing.com/?uid-7701-action-viewspace-itemid-13731http://blog.csdn.net/sunboy_2050/article/details/6836382shell 括号学习s...

转载 <HTTP协议详解>由浅入深看HTTP

原文链接：http://www.cnblogs.com/guguli/p/4758937.html一. HTTP协议的应用简单概况 HTTP协议的主要特点可概括如下：1.支持客户/服务器模式。2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HT

转载 HTTP协议状态码详解（HTTP Status Code）

1xx（临时响应） 表示临时响应并需要请求者继续执行操作的状态代码。代码   说明 100   （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。  101   （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。2xx （成功） 表示成功处理了请求的状态代码。代码   说明 200   （成功

转载 Python的GIL是什么、怎么来的、对性能的影响

转载文章，探究python中的GIL。涉及GIL的由来、特点、性能影响。欢迎评论指正。

转载 【转】HTTP中的幂等性及其应用

文章转自：http://www.cnblogs.com/weidagang2046/archive/2011/06/04/2063696.html理解HTTP幂等性基于HTTP协议的Web API是时下最为流行的一种分布式服务提供方式。无论是在大型互联网应用还是企业级架构中，我们都见到了越来越多的SOA或RESTful的Web API。为什么Web API如此流行呢

原创 关于Java中几种方法块的执行过程分析

初学Java，对java中的普通代码块、静态代码块，以及它们与构造方法结合在一起时的执行过程有了了解，分享出来大家一起学习。更希望更多高手从各方面批评指正。测试代码：测试结果：由上面的测试代码和测试结果可以看出以下几点：1. 静态代码块最先执行，而且是在main方法还没开始运行时就执行。这是因为静态代码块的定义是在类初始化的时候就执行。由于上面的测试代码只有

转载 【转】有关maven by:buzhucele

转载于:http://risheng.iteye.com/blog/12180041.前言 Maven，发音是[`meivin]，"专家"的意思。它是一个很好的项目管理工具，很早就进入了我的必备工具行列，但是这次为了把project1项目完全迁移并应用maven，所以对maven进行了一些深入的学习。写这个学习笔记的目的，一个是为了自己备忘，二则希望能够为其他人学习使用