- 博客(33)
- 收藏
- 关注
原创 Minio对象存储服务(一):简介与安装部署
简介 MinIO是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口,非常适合于存储大容量非结构化的数据,例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。 MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合,类似 NodeJS, Redis 或者 MySQL。环境准备Windows10操作系统Docker单节点模式部署 Minio需要配置存储空间来让数据持久化,但
2020-10-09 15:08:36
1190
原创 Dremio数据湖引擎(二):在win10环境下的安装部署
由于博主日常使用的OS为windows10,故本文将简单展示如何在win10基于Docker容器安装部署Dremio。另外,Dremio的官网也给出诸如AWS版本、Azure版本等的安装部署包,有兴趣的话可通过以下链接前往了解:dremio deploy环境准备win10环境下的Docker容器服务拉取dremio-oss的docker镜像这里拉取下来的社区版本的Dremio镜像,商业版本的Dremio需要联系Dremio官方了。当然,作为个人开发使用,社区版本的Dremio已完全够用了。
2020-10-09 15:05:40
1509
原创 Dremio数据湖引擎(一):简介
在进入主题前,先聊下数据湖这个概念。百度百科中对该名词有如下解释:数据湖或hub的概念最初是由大数据厂商提出的,表面上看,数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大,越需要各种不同种类的存储。最终,所有的企业数据都可以被认为是大数据,但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。 说白了,数据湖的意思就是将不同存储类型、不同种类的数据汇聚在一起,例如在一个存储集群中分别有MySQL、Mongodb、s3等等数仓数据,这个存储集群统一对外就是一个数据湖了。
2020-10-09 15:03:05
6514
2
原创 TCP有限状态机
TCP 有限状态机很多人都知道TCP协议有名的三次握手和四次挥手,实际上它们是基于TCP协议的简约版的抽象,而这两个动作的背后本质上是TCP的协议转换;TCP协议的操作流程可以使用一个包含11种状态的有限状态机( Finite State Machine )来表示,即下图描述了TCP有限状态机的运作流程,箭头指向表示状态之间的转换,粗实线表示客户端主动与和服务端建立连接的流程,粗虚线表示对应的...
2020-03-21 11:46:54
2057
原创 个人youtube视频观看历史分析
前两天偶然翻阅了一位blogger的文章,内容是记录了他个人油管的观看记录分析过程。然后我也心血来潮,效仿一番,在本篇文章也简单分析下我自己再youtube的观看历史,分析维度和那位blogger的基本一致(抄袭了别人的idea,惭愧~),这是原文链接。 曾几何时,还不知道有fanqiang这回事的时候,在网络上观看视频资源都只能局限于几大视频平台。后来学会了用别人的飞机场,再后来学会了自...
2020-02-10 00:28:25
3333
1
原创 《重构 既有代码的设计》笔记摘要
前言P2(页码)什么是重构?所谓重构( refactoring)是这样一个过程:在不改变代码外在行为的前提下,对代码做出修改,以改进程序的内部结构。重构是一种经干锤百炼形成的有条不紊的程序整理方法,可以最大限度地减少整理过程中引入错误的几率。本质上说,重构就是在代码写好之后改进它的设计。P5重构技术的两位最早倡导者是 Ward Cunningham和 Kent Beck。他们很早就把重构...
2020-02-10 00:20:55
166
原创 python处理Protoc Buffers协议下的header+protobuf
项目中碰到了tcp透传下用protocol buffer协议的数据传输场景 记录下踩的坑~~协议的定义大致举例如下:数据传输协议组成部分分为header结构体和一个传输数据message体header如下,其中某个param是需要截取的message包体长度(如这里是param_3)struct header{ unsigned short param_1; // 头信息定义
2018-01-09 19:46:53
1692
原创 Windows7下PHP、apache开发环境搭建
一、准备近期需要在自己的win7机器上用php做些开发工作,奈何这台机器没搭建过php开发环境,就花了点时间搭好环境,记录总结下,这次环境安装搭建用到php7,apache2.4,mysql5.7二、组件下载php:在官网下载即可,http://www.php.net/downloads.php1,选择想要下载的版本下边的Windows downloads,然后跳转到对于资源列表页2,根据机器32位
2017-10-22 22:29:17
500
原创 python之import异常-ImportError: cannot import name xxx
bug:最近开发中遇到了import异常 目录A下的py文件B import 目录C下的py文件D抛出import异常ImportError: cannot import name Danalyze:一般情况这个exception是python找不到import进来的包或库导致的, 排查了一番后还没找到问题根源,总结了下情况:A,C目录名和B,D文件名都没写错; B,D两个py文件进行单
2017-09-21 22:07:27
27435
4
原创 python实现二叉树遍历
先用python的类表示二叉树的节点:class Node(object): def __init__(self, root=None, ltree=None, rtree=None): self.root = root self.ltree = ltree self.rtree = rtree访问树的所有结点,有且仅访问一次。按照根节点位置的
2017-03-17 12:01:12
441
原创 linux下svn的使用(整理)
一直都是习惯用git做版本控制工具,整理一下linux下svn常用的命令,便于与git做区分,windows下的svn命令与linux下的差别不大使用的linux发行版本信息**@××:~$ uname -vsLinux #87~14.04.1-Ubuntu SMP Fri Mar 3 17:32:36 UTC 2017下载安装sudo apt-get install subversion检出新文
2017-03-10 19:17:07
1213
转载 (转)Python中的map,reduce,filter,lambda内置函数
filter(function, sequence):对sequence中的item依次执行function(item),将执行结果为True的item组成一个List/String/Tuple(取决于sequence的类型)返回:>>> def f(x): return x % 2 != 0 and x % 3 != 0 >>> filter(f, range(2, 25)) [5, 7, 1
2017-02-20 16:34:10
460
原创 Python Booklist
一份python的阅读书籍资料清单,供参考https://www.douban.com/doulist/63694/
2017-02-20 11:49:03
418
原创 python实现常见的设计模式-简单工厂模式
《大话设计模式》这本书中各种设计模式的python代码实现。简单工厂模式的UML图 工厂模式在很多场景都可以应用,运用类的继承、多态等强大的特点可以有效减少代码冗余,提高代码的高可复用性。#! /usr/bin/env python# -*- coding:utf-8 -*-"""简单工厂模式特点:工厂可以根据情况生产不同的产品(类或类实例)例子:接受输入并能实现加减乘除的计算器"""
2017-02-19 21:13:41
1456
原创 mysql基本查询语句review
工作中很多时候都会用封装的库去操作mysql数据库,所以sql原生语句一旦长时间没有使用就会有所生疏,参考其他人的练习题,重新复习一遍基本的查询语句并记录。1.创建student和score表CREATE TABLE student (id INT(10) NOT NULL UNIQUE PRIMARY KEY ,name VARCHAR(20) NOT NULL ,sex
2017-02-18 12:47:24
912
转载 SQL基础知识整理
转载自:http://www.cnblogs.com/xinye/p/3823461.html 标准SQL资料整理 最近感觉SQL忘记的很快,于是把SQL的基础知识整理了下。使用的工具是MindManager 9。资料来自W3C School:http://www.w3school.com.cn/sql/index.asp 以及互联网上的其他资源。M
2017-02-15 10:02:52
259
转载 数组、链表、堆栈和队列
转载自:http://blog.csdn.net/amork/article/details/7258216数据结构:是指相互之间存在一种或多种特定关系的数据元素的集合。听起来是不是很抽象,简单理解:数据结构就是描述对象间逻辑关系的学科。比如:队列就是一种先进先出的逻辑结构,栈是一种先进后出的逻辑结构,家谱是一种树形的逻辑结构!(初学数据结构的时候很不理解为什么有“栈”这个东西;队列很容易理解—无
2017-02-14 16:04:35
279
原创 Python常用的几种包(库、模块)安装方式
这里整理一下常见的几种包安装方式1、pip install package_name使用pip工具安装,此方法比较常用,方便快捷,自动下载安装包到当前python环境,如果需要指定下载安装某个版本的包,只需写成这个形式pip install package_name==版本号; 另外,下载的whl格式的包安装文件也可以通过pip install安装2、pip install -r requirem
2017-01-25 19:48:51
10567
原创 flask中的secure_filename方法获取不到中文文件名
碰到以下问题: 将中文文件名传给 secure_filename 方法时所有的中文名都会被过滤掉,只剩下文件后缀名。 原因:werkzeug库的secure_filename方法中,中文被ignore或者压制导致数据缺失 解决方法: 1,要么更换或弃用中文文件名 2,视情况修改secure_filename方法的代码def secure_filename(filename): r"
2017-01-06 20:00:45
7715
转载 HTTP协议详解
以下这篇blog详细讲解了http协议,仔细阅读了一遍,写得很好,转载过来,方便查阅翻看: http://www.cnblogs.com/maanshancss/p/4503385.html
2016-09-25 12:44:26
236
原创 Django中文文档-The Django Book
Django book 2.0 的中文翻译。 http://djangobook.py3k.cn/2.0/
2016-09-24 11:29:12
763
原创 mysql--用户管理
1.用户设置如果需要添加 MySQL 用户,只需要在 mysql 数据库中的 user 表添加新用户即可。 以下为添加用户的的实例,用户名为flynn,密码为python123,并授权用户可进行 SELECT, INSERT 和 UPDATE操作权限:mysql> use mysql;Database changedmysql> INSERT INTO user (host
2016-09-19 16:03:21
287
转载 python--正则表达式学习汇总
(感谢原作者的辛勤劳作~)本文正文大部分转载自http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html1. 正则表达式基础1.1.概念介绍正则表达式是用于处理字符串的强大工具,它并不是Python的一部分。 其他编程语言中也有正则表达式的概念,区别只在于不同的编程语言实现支持的语法数量不同。 它拥有自己独特的语法以及一个独立的处理引擎
2016-09-18 22:05:28
374
转载 django中的request.META字典(部分转载)
request.META 是一个Python字典,包含了所有本次HTTP请求的Header信息,比如用户IP地址和用户Agent(通常是浏览器的名称和版本号)。
2016-06-13 19:56:13
2455
原创 【python】python中的字符串及其格式化
1,在python中,对于单一个字符的编码,Python提供了ord()函数获取字符的整数表示,chr()函数把编码转换为对应的字符,如:ord('B')或者chr(24324)2,Python对bytes类型的数据用带b前缀的单引号或双引号表示:x = b'ABC'3,以Unicode表示的str通过encode()方法可以编码为指定的bytes;反之,需要把bytes变为str,就要用decod
2016-05-12 17:47:08
385
原创 Windows下pip安装包报错:Microsoft Visual C++ 9.0 is required Unable to find vcvarsall.bat
windows环境下第一次使用pip安装mysql-python包时报错
2016-02-12 15:12:29
292
转载 PEP8 Python 编码规范
PEP8 Python 编码规范一 代码编排 1 缩进。4个空格的缩进(编辑器都可以完成此功能),不使用Tap,更不能混合使用Tap和空格。 2 每行最大长度79,换行可以使用反斜杠,最好使用圆括号。换行点要在操作符的后边敲回车。 3 类和top-level函数定义之间空两行;类中的方法定义之间空一行;函数内逻辑无关段落之间空一行;其他地方尽量不要再空行。二 文档编排 1 模块内容的顺序:模
2016-02-12 11:38:45
393
转载 python修炼—文本文件的输入输出
文本文件的输入输出Python具有基本的文本文件读写功能。Python的标准库提供有更丰富的读写功能。文本文件的读写主要通过open()所构建的文件对象来实现。1、创建文件对象我们打开一个文件,并使用一个对象来表示该文件:对象名 = open(文件名,模式)最常用的模式有:r 打开只读文件,该文件必须存在。r+ 打开可读写的文件,该
2015-11-13 20:38:10
451
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人