越學粵有癮``_Zagfai_CSDN博客-python,越學粵有癮,skill领域博主

原创 Pycon 2019 @Shenzhen

上一篇文章時間沒錯，2016年10月，一路向南。在金山的最後一篇博文，恰好也是向南回歸廣東的創業創意開始見起色的時間。然後就係回歸廣東，創業3年。準確離職時間是17年吧，都已經覺得猴年馬月了，近期時間過得好像特別快，而回看離職那時，又覺得特別漫長，或許最近有點閒吧，閒得報了個PyCon的主題，演講了一篇《從Python開始錢賺錢》。其實內容不是特別深奧，我也是特意簡單概括簡明扼要地講解了一下，...

2019-11-01 23:19:21 91

原创一路向南

十一终于把这么多年没去的中原地区景点一次过补上了，还差个滕王阁。记录一下两个人的花费，差不多一趟日本游了T. T 北京 -》泰安 326 濟南 -》開封 274 * 2 岱庙 -》30*2 钟点房 100 泰安济南 49 特色魯 110 开封过夜 168 大相国寺 80 延庆观 60 汤饭 40 铁塔（50 35 ）*2 洛陽IU 404 到洛陽 24*2

2016-10-08 11:35:42 398

原创 Hashcash

Hashcash扯蛋一年多没写Blog了，这一年多从备份大师做到WhatsCall，一亿用户，三千万日活，到最近的X万美金的日入，加班加班地做着后台的开发工作。年少轻狂啊，就喜欢敲代码，但是真的别再把爱好当作职业了，所以还是想着留一手不转金融。忙到昨晚才抽空看了下区块链到底是什么东西，因为比特币又被炒起来了，2年多前买着0.1个比特币，买了几个莱特币亏得更厉害，都是小钱，现在去操作估计想着卖空了，应

2016-07-01 22:00:18 2460 2

原创 DynamoDB

本来想写写进程、线程、轻量级线程、goroutine还有协程（coroutine），为什么我把goroutine单独列出来是因为它不是协程，所有翻译成协程的都是偷用概念，把比线程轻量的都叫做协程。算了，先不纠结这个，今天想写写DynamoDB，记录下经历。就如官网描述到的，无限扩展，好吧，具体实现也不得而知，但这个无限扩展的前提是诸多限制。在确认DynamoDB是否适口你的项目

2014-12-03 01:15:23 2203

原创协议演变

搬过来广州一个多月了，50号人，这样搬迁，不知道老板是怎样想的，托词是广州容易招到人，也问过我是愿意到广州还是留在珠海，一个月前婆婆还在世，当然选择近一点的广州，现在的话，去哪都一样，跑到深圳，或者是苏杭体验一下生活，也很不错，至于安居乐业，暂难打算。这段时间是跟着需求改啊改，新增些什么功能，修些什么BUG，隔三差五就部署部署，进度缓下来了，然后又说转golang，这，真要想想。收获也

2014-10-08 21:51:12 947

原创再封裝

CM Backup高速開發暫緩了一下，有機會寫一下這段時間以來都幹了些什麼（我總感覺老闆覺得我很清閒，但真的忙趴了）。今晚就不作什麼大總結了，針對一個問題談點心事。項目需要，用到了Amazon的服務，自然python也就用到了boto（想着不用boto的就不用往下看了，因爲你什麼輪子都自己動手，也沒有所謂的再封裝了）。用到了boto，然後項目不斷地變大，調用

2014-07-22 20:34:04 758

原创 Supervisor + Tornado 之吐槽

本来是很忙的，这两个月来学到

2014-07-16 15:46:11 1082

翻译 Python3.4 asyncio模块简介

这个模块提供了在单个线程上使用协程，适用基于网络及其他资源，有关IO密集型的服务端及客户端程序。模块细节如下：适用于多系统可拆卸的事件循环（event loop）系统；数据传输（transport）和协议抽象（类似于Twisted）；对TCP、UDP、SSL、子进程管道、延时调用（delayed calls）和其他一些系统特有的传输协议支持的实现；a Future class th

2014-05-05 10:44:12 1436

原创愚人节与并发编程

愚人节快乐~ 然后看见一片应情应景的文章《并发不是并行，它更好！》 http://www.iteye.com/news/28915 。大家看看那Go的可爱地鼠图片就算了，如果真是信了那文章的內容，您老不如去看韓劇吧。近年什麼都要大尺度，VPS要上天叫雲，報表統計變了大數據，網站要用並發來處理很多人的訪問，那也變成了“並發編程”，上升到思想的高度了，底層還不是一個中斷而已。而上面那篇文章，更

2014-04-01 15:53:06 841

原创 Structure of a spider

Recently I am trying to rewrite a spider of a website to download the resources on it, which supports to crawl the website daily more than 1 million pages and thousands of download, each connection co

2014-02-23 00:45:29 662

原创 CentOS python2.7 自动安装脚本

由于多次需要配置CentOS python，干脆写成一个脚本。使用版本：CentOS release 6.3 (Final)，其他没测试过。一句话安装（需要能sudo或root）：wget https://gist.github.com/zagfai/9087397/raw/3fbd16ba71e3a7fcce8d7d3f9837dfb6b245947c/centpy.sh &&

2014-02-19 15:25:03 1581

原创 python 多进程通信模块

多进程通信方法好多，不一而数。刚才试python封装好嘅多进程通信模块 multiprocessing.connection。简单测试咗一下，效率还可以，应该系对socket封装，效率可以达到4krps，可以满足好多方面嘅需求啦。附代码如下:client#!/usr/bin/python# -*- coding: utf-8 -*-""" download - slave""

2014-02-17 21:15:08 1301

原创 crontab每x分钟执行详情

春节假期后又病好几日，每逢佳节倍伤身...。冇乜心情做嘢，搞下啲小测试放松下心情。网上关于crontab嘅详解多不胜数，但系对 */x 呢种格式嘅执行详情就未见有提及的，都系话“每隔x分钟执行一次”，到底几时开始执行呢？下面系我做一个小测试嘅结果。*/7 * * * * cd ~/Desktop && python a.py2014-02-12 12:27:01 [

2014-02-12 14:55:48 3517

原创 CentOS6 安装 Python2.7

安装咗好多次，安都安到烦，记一记安装过程，下次冇咁烦。sudo yum -y install python-devel openssl openssl-devel gcc sqlite-develwget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgztar -xvjf Python-2.7.6.tar.bz2cd P

2013-12-30 13:45:15 1004

原创 ftp pasv IP变化情况下的处理

ftp pasv python

2013-12-28 19:44:02 2319

原创 Statistics and Operation

Those are annoying jobs when the statistics is disposable and not be presented by yourself, while the operation is for others system with is nearly to be abandon. I am so boring why I am been here doi

2013-12-21 14:31:42 752

原创 I never care who read my articles

I have been not to care any more who read my articles when I made my decision to write in English. I just wanna practice my English, may or may not to study out of China.On the other hand, I shared

2013-12-15 22:42:11 696

原创 Python閉包與多線程

I had my position transferred for more than one week from Mobile Security to Clean Master, and have a chance to make a framework to transfer data from one database to another, also some annoying jobs

2013-12-01 02:08:46 859

原创 Two Weeks Passed

In the last two weeks, i have made less improvement of my technological skills and wasted my time doing some dirty jobs. I don't think it's my unfortunate, people who in their working have to face thi

2013-11-20 00:03:22 1072

原创信息论、熵、决策树

http://www.borgelt.net/dtree.htmlhttps://pypi.python.org/pypi/DecisionTreehttp://scikit-learn.org/stable/modules/tree.htmlhttp://orange.biolab.si/

2013-11-03 01:04:15 1013

原创數據庫分佈式計算的一些思考

緣起業務上需要處理幾十TB的文件，而各個子業務分別用到這幾十T，所以鵬哥也一直在想用hadoop搞蛋這些東東究竟行不行。我也一直在查找著各種可能出現的情況。包括以下這篇文字：http://121.52.208.248/mwiki/index.php/MapReduce:_%E4%B8%80%E4%B8%AA%E5%B7%A8%E5%A4%A7%E7%9A%84%E5%80%92%E9%80%80　。　　讀完這篇文字，說實話，真的頗受啓發，使我覺得hadoop其實是“一次性”的工具。一次性爲何物呢？我指的是

2013-10-28 01:10:32 1012

原创 SSH 防暴力破解配置

# Generated by iptables-save v1.4.14 on Mon Sep 16 10:57:02 2013*filter:INPUT ACCEPT [242:22323]:FORWARD ACCEPT [0:0]:OUTPUT ACCEPT [192:30342]-A INPUT -i eth0 -p tcp -m tcp --dport 22 -m st

2013-10-28 00:30:44 842

原创 Python 命令行非阻塞输入

很久很久以前，系windows平台下，用C语言写过一款贪食蛇游戏，cmd界面，用kbhit()函数实现非阻塞输入。系windows平台下用python依然可以调用msvcrt.khbit实现非阻塞监听。但系喺linux下面就冇呢支歌仔唱。随手google咗一下，基本上都用select实现非阻塞监听，但问题是，监听的是用select之后是不能像getchar()那样，即时收到单个字符的输

2013-09-25 14:27:53 3132

原创周記暨MySQLdb模塊奇葩問題一則

MySQLdb默認會開啓事務，亦即，如果在connect之後沒有autocommit的話，其他線程插入新數據後，該連接是select不了的，長連接哥哥瞬間內心崩潰了。有兩種做法，一種係設置db.autocommit(True),還可以在每一次使用該長連接前commit一下。　　besides，有個諗法，想做一個snippet python嘅網站... 當然，內容爲王。　　今個星期用咗唔少其

2013-09-14 18:11:57 705

原创 python框架碎言

不同的人喜歡不同的框架，各自認爲所用框架比較順手，比較適合自己，同時又承認著各自框架的缺陷，卻以各有特性爲名。　　這個星期用webpy重寫了公司一個庫的數個接口，自己也想不到這麼快，1天就搞掂，原本是用django。並測試了nginx，uwsgi什麼的效率，其中調節somaxconn是一個重點。裸跑nginx係一個神一般的連接能力，輕而易舉上6、7千rqs，加入uwsgi+webpy也是輕易上

2013-09-08 00:01:17 1230

原创人工智能周

自從一個月前停手分類算法嘅研究，呢兩個星期又重新開始。其實上一個分類算法做得都唔錯，唔用就算囉。今次個分類效果貌似好唔理想，原因主要係特徵選取嘅問題，鬼咁少特徵，點分類啊。除咗算法研究，今個星期仲用咗下matplotlab嘅3D繪圖，訓練一下對數據分析顯現嘅能力。Besides，維護住前兩個星期寫好嘅項目，數據量好大嘅項目，就兩台機器係度跑，其實如果租用amazon嘅機器，一日就跑完，

2013-08-30 22:53:17 644

原创 python 程序穩定性閒談－續集

前文再續，書接上一回。上次總結python錯誤碼返回與異常機制共用的一些原則，毫無疑問地，仍會出現程序不穩定的現象（好吧，可能是我個人能力問題）。在公司做的一個項目中，出現了因爲使用外部模塊造成python程序內存暴漲直接崩潰的現象（被系統殺掉了，沒有返回MemoryError（估計是外部模塊C代碼的BUG），簡單搜了下，可能使用內存限制模塊可以在代碼內解決這一問題（import resource

2013-08-25 16:46:18 880

原创 Python異常、錯誤碼與程序穩定性閒談

在用python做過幾個比較追求穩定性的項目之後，突然覺得，golang回歸到使用錯誤碼的選擇一定程度上是對的。在python下，總有捕捉不完的異常，程序不跑一跑，很難知道到底哪裏會出問題。解決穩定性這一問題方法只有一個，將錯誤碼出現的地方都找出來，逐一try...catch，才可以在問題出現時及時解決。然而這卻是一份浩大的工程，將try...catch放到多小的粒度（一個語句，還是函數），也

2013-08-10 14:18:33 898

原创 PEP3107 函数注解 Function Annotations

前言由於PEP 3107 函數註解（Function Annotations）相關中文資料極少，本人閒而無事，決定解讀一下PEP3107。此PEP由python3.0開始提出。距離上次修改有3年矣。起因因爲Python2.x無對函數參數與返回值註解之標準，一堆工具和庫爲彌補此問題應運而生。部分利用裝飾器對函數參數與返回值進行限制。PEP3107旨在詳述此問題，減少各

2013-06-14 17:53:39 951

原创分享一個python爬蟲，用來檢測網站可用性

talk is cheep, show you my code. 歡迎吐槽。Code1. queue server.#!/usr/bin/python# -*- coding: utf-8 -*-# queue server. import socketfrom base64 import decodestring as b64decodefrom Queue impo

2013-06-08 17:13:40 1186

原创 python2 lambda内赋值打印方法

python2嘅lambda表达式好有用，但系喺python2入面却神奇咁唔可以print，唔可以raise，唔可以赋值（呢个仲可以理解）。以下基于python2.73@ubuntu default对lambda表达式周边产品进行改进，卖个好价钱：）。 python2当中，可以用exec，但呢个比较丑，所以都系定义几个函数，use it.#! ...def raise_(ex)

2013-05-25 10:18:13 1343

原创 python str.split() 与 split(' ') 的区别

你能想到吗？....！

2013-05-06 23:45:42 720

原创 EC2 ubuntu 12.04 nginx uwsgi mysql

sudo passwdsuapt-get updateapt-get upgradeapt-get install python-dev bulid-...... mysql-server ... .. nginx .. uwsgi ..# install pip ..!# rcsudo vim /etc/rc.local>>>>> add >>>sudo uwsgi -i /et

2013-04-25 14:35:57 871

原创新浪微博Python站內應用認證

呢個新浪微博Python站內應用認證搞咗我兩日喇，睇咗N多Oauth2資料，寻日係度不停咁試，都試唔出個所以然，今日用python個解析器一句句試，終於搞掂。然後做到一半，微博PythonSDK嗰作者突然私信返我（我寻日問過佢），個SDK升級到1.0.9版，然後就冇然後喇... 我本來根據　http://blog.csdn.net/chenggong2dm/article/details/6613

2012-12-14 16:11:16 875

原创 Ubuntu安裝後設置「紀錄」

七月份買咗個SSD之後就裝Ubuntu12.04，至今用咗大約半年啦，感覺上都幾順手，唔似以前舊版成日卡死。依家約摸每個星期會卡死桌面一兩次，處理方法亦較簡單，Ctrl+Alt+F1登錄，kill咗Xorg佢就會自己重載桌面。紀錄翻安裝完Ubuntu之後嘅系統配置，最後裝Ubuntu Tweak。sudo passwd #設置管理員密碼#設置上網#設置源 /usr/apt 163鏡像

2012-12-09 11:55:56 523

原创將Ubuntu12.04indicator郵箱圖標刪去並加入新圖標用作Gmail郵件提示

1.刪去 Ubuntu12.04 indicator(叫狀態欄，指示欄之類吧) 郵箱圖標直接系命令行打sudo apt-get remove indicator-message重啓之後郵件圖標就消失2. 嗯，網上發現一個頗有意思ge插件~ 可以直接用以下代碼... 修改帳號密碼後就呵呵喇。可以加入到開機自啓動（需要本文改動後代碼，鏈接中的以爲未聯網的原因會不顯示）。http

2012-08-08 23:46:50 2836

原创學習鳥web.py 0.37源碼

用罷四天，全職學webpy，對webpy之架構有大觀，部分細微處亦有心得。撰此文以記。首次學習分析一個框架，耗時較多，不過學習過程中，連帶CGI，FastCGI，WSGI，HTTP，長連接等等等等一系列嘅名詞有咗深刻體會，加上剛過嘅學期學到嘅網絡基礎，我看待WEB，覺得就係客戶端同服務器端嘅交流。就係圍繞著HTTP協議，理解同反饋。客戶端寫一篇文章畀服務器，服務器分析完之後返回一篇文章

2012-07-14 01:37:14 1611

原创 N9新浪微博自定義表情符號

用咗一段時間N9，發現個表情符號好少，而且都比較舊，想加入啲比較好睇嘅表情符號。不過好可惜，肥佬咗...原因係新浪微博佢將啲表情名稱寫入程序裡，而在QML文件SinaWeiboEmotion.qml裡面接受來自程序請求，返回一個字符串，搞到我想擴展一下都難... 呢種設計真“不該”。冇辦法，只可以死馬當活馬醫... 將原本有嘅表情替換成自己想要嘅表情... 如此一來只有89個表情

2012-07-04 18:55:09 4984

原创種子圖片製作工具

種子圖片經常用作秘密傳送文件，方法係將一個種子文件壓縮後追加於圖片二進制文件結尾，製作成一個可讀作圖片，同時又可解壓出seed嘅文件。以下代碼由python2寫成，已檢驗可運行於Python2.7.1。使用方法係：將圖片與種子路徑以參數形式傳送至py文件，即提取> t.py tor_a.jpg合併> m.py a.jpg b.torrent#!/u

2012-06-06 13:44:38 1498

原创 fling

喺N9上面有一隻遊戲叫做fling...就係拉啲波波撞來撞去.. 撞走剩低1個波就赢. 相鄰波波唔可以互相撞走果斷 dfs 夾硬解題.#!/usr/bin/env python# -*- coding: utf-8 -*-# 8 rows 7 colsfrom copy import deepcopy as dcopybase_board = [ [ Fa

2012-05-09 17:36:33 585